lisacumt-CSDN博客

实际速度是很慢的，比如反编译spark/jars目录需要1个多小时，grep速度很快，几秒即可。因为如果使用反射加载类时候，java不会打印具体是哪个jar的哪个类加载其他类出现问题。（2）使用shell的grep命令查找.java文件的文本呢内容，如查找。支持java8，更新版本请看官方文档。本例使用的linux环境是centos7，java8。暂无法解决，scala一些类或方法的反编译报错问题。（1）反编译jar，生成.java文件，准备使用。，其支持命令行操作，github下载地址。

2024-05-16 16:33:03 760

原创【calcite】calcite实现SQL列级数据血缘 data lineage 查询

calcite实现SQL列级数据血缘查询

2024-05-07 14:49:40 847 1

原创【idea】使用idea运行scala测试scalatest的时无法运行单个测试，只能运行整体测试

使用idea运行scala测试scalatest的时无法运行单个测试，只能运行整体测试

2024-04-25 16:04:17 175

原创【spark】spark使用sql读取elasticsearch es索引，使用keystore配置用户密码

spark使用sql读取elasticsearch es索引，使用keystore配置用户密码

2024-04-23 17:00:00 636 2

原创【gradle】idea创建的gradle项目每个mudule有多余的iml文件

idea创建的gradle项目每个mudule有多余的iml文件

2024-04-18 11:48:51 444

原创【hive】mysql数据库作为metastore，hive hiveserver2启动报错All is already granted by admin

mysql数据库作为metastore，hive hiveserver2启动报错All is already granted by admin

2024-04-12 16:42:38 295 1

原创【hive】远程remote debug hive的方法，用于hive监听器/钩子编写

远程remote debug hive的方法，用于hive监听器/钩子编写

2024-04-12 16:19:18 522

原创【bash】linux使用环境变量拼接字符串错误

linux使用环境变量拼接字符串错误

2024-04-10 11:51:36 336

原创【hive】单节点搭建hadoop和hive

单节点搭建hadoop和hive，总占用内存6GB

2024-04-09 16:48:28 1660

原创【scala】使用gradle和scala构建springboot程序

使用gradle和scala构建springboot程序

2024-03-25 18:01:34 540

原创【java】java环境变量分类

java环境变量分类

2024-03-20 17:00:27 483

原创【phoenix】flink程序执行phoenix，phoenix和flink-sql-connector-hbase包类不兼容

flink程序执行phoenix，phoenix和flink-sql-connector-hbase包类不兼容

2024-03-20 10:44:23 503

原创【flink】flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突

flink on yarn jar异常，类冲突：原因本地上传jar和hdfs的jar冲突

2024-03-19 16:05:07 522

原创【scala】idea 刷新maven或gradle报错 Cannot find project Scala library 2.11.12 for module

向configuration标签添加scala版本信息。

2024-03-19 15:19:30 528 2

原创【kerberos】hadoop集群使用keytab认证的逻辑

hadoop集群使用keytab认证的逻辑

2024-03-08 17:41:58 1264

原创【scala】scala枚举类最佳实现及其jackson序列化方式

scala枚举类最佳实现及其jackson序列化方式

2024-02-21 16:54:56 377

原创【kafka】使用kafka client连接 kerberos认证的 kafka，scala版

使用kafka client连接 kerberos认证的 kafka，scala版

2024-02-05 10:38:18 638

原创【kettle】pentaho/data-integration 报错：org.apache.http.NoHttpResponseException: failed to respond

【kettle】pentaho/data-integration 报错：org.apache.http.NoHttpResponseException: failed to respond

2024-01-17 17:02:54 731

原创【kettle】pentaho/data-integration debug 查看日志方法

kettle/pentaho/data-integration debug 查看日志方法

2024-01-17 16:32:36 774

原创【scala】编译build报错 “xxx is not an enclosing class“

编译build报错 "xxx is not an enclosing class"

2024-01-11 15:38:21 624

原创【spark】spark启动报错“spark RpcEnv already stopped“

造成 rpcEnv提前结束了。write时候没添加。

2024-01-11 15:15:54 424

原创【hudi】hudi表常用字段类型SQL api测试

hudi表常用字段类型SQL api测试

2024-01-08 15:41:14 654

原创【kettle】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“

pdi/data-integration 打开ktr文件报错"Unable to load step info from XML"

2024-01-04 10:57:42 977

原创【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver

pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver。含hadoop conf和kerberos认证工具类。

2024-01-02 19:08:32 1563

原创【cmd】win下获取文件列表

win下获取文件列表

2024-01-02 11:28:50 575

原创【pentaho】kettle读取Hive表不支持bigint和timstamp类型解决。

时候kettle任务jdbc应提供为decimal类型(java 中是bigdecimal类型)的数据。这种仅仅是很难遇到的临界状态场景，其实可以忽略，所以把此判断去除直接让hive的。显示kettle认为此应该是decimal类型(kettle中是TYPE_BIGNUMBER或称BigNumber)，但实际hive数据库中是big类型。本质就是kettle认为bigint分两种。的就是有正负的和仅正的。到kettle类型转换的方法是。修改数据库连接的高级配置即可。都转为kettle的。

2023-12-21 17:13:37 1086