- 博客(92)
- 收藏
- 关注
原创 【docker】docker启动bitnami/mysql
说明:-v 宿主机目录:docker容器目录,-p 同理。如启动mysql binlog日志。目录自定义conf的目录,不能使用原有的。容器启动后可在宿主机的。文件,配置mysql。
2024-05-27 15:04:08 453
原创 【hive和spark】hive on spark和spark读取hive metastore配置
hive on spark和spark读取hive metastore配置
2024-05-20 17:45:23 896
原创 【procyon-decompiler】使用procyon-decompiler递归反编译文件下所有的jar并查找所有反编译java文件内容
实际速度是很慢的,比如反编译spark/jars目录需要1个多小时,grep速度很快,几秒即可。因为如果使用反射加载类时候,java不会打印具体是哪个jar的哪个类加载其他类出现问题。(2)使用shell的grep命令查找.java文件的文本呢内容,如查找。支持java8,更新版本请看官方文档。本例使用的linux环境是centos7,java8。暂无法解决,scala一些类或方法的反编译报错问题。(1)反编译jar,生成.java文件,准备使用。,其支持命令行操作,github下载地址。
2024-05-16 16:33:03 1218
原创 【idea】使用idea运行scala测试scalatest的时无法运行单个测试,只能运行整体测试
使用idea运行scala测试scalatest的时无法运行单个测试,只能运行整体测试
2024-04-25 16:04:17 189
原创 【spark】spark使用sql读取elasticsearch es索引,使用keystore配置用户密码
spark使用sql读取elasticsearch es索引,使用keystore配置用户密码
2024-04-23 17:00:00 656 2
原创 【gradle】idea创建的gradle项目每个mudule有多余的iml文件
idea创建的gradle项目每个mudule有多余的iml文件
2024-04-18 11:48:51 456
原创 【hive】mysql数据库作为metastore,hive hiveserver2启动报错All is already granted by admin
mysql数据库作为metastore,hive hiveserver2启动报错All is already granted by admin
2024-04-12 16:42:38 308 1
原创 【hive】远程remote debug hive的方法,用于hive监听器/钩子编写
远程remote debug hive的方法,用于hive监听器/钩子编写
2024-04-12 16:19:18 546
原创 【phoenix】flink程序执行phoenix,phoenix和flink-sql-connector-hbase包类不兼容
flink程序执行phoenix,phoenix和flink-sql-connector-hbase包类不兼容
2024-03-20 10:44:23 522
原创 【flink】flink on yarn jar异常,类冲突:原因本地上传jar和hdfs的jar冲突
flink on yarn jar异常,类冲突:原因本地上传jar和hdfs的jar冲突
2024-03-19 16:05:07 539
原创 【scala】idea 刷新maven或gradle报错 Cannot find project Scala library 2.11.12 for module
向configuration标签添加scala版本信息。
2024-03-19 15:19:30 558 2
原创 【kafka】使用kafka client连接 kerberos认证的 kafka,scala版
使用kafka client连接 kerberos认证的 kafka,scala版
2024-02-05 10:38:18 652
原创 【kettle】pentaho/data-integration 报错:org.apache.http.NoHttpResponseException: failed to respond
【kettle】pentaho/data-integration 报错:org.apache.http.NoHttpResponseException: failed to respond
2024-01-17 17:02:54 775
原创 【kettle】pentaho/data-integration debug 查看日志方法
kettle/pentaho/data-integration debug 查看日志方法
2024-01-17 16:32:36 826
原创 【scala】编译build报错 “xxx is not an enclosing class“
编译build报错 "xxx is not an enclosing class"
2024-01-11 15:38:21 636
原创 【spark】spark启动报错“spark RpcEnv already stopped“
造成 rpcEnv提前结束了。write时候没添加。
2024-01-11 15:15:54 431
原创 【kettle】pdi/data-integration 打开ktr文件报错“Unable to load step info from XML“
pdi/data-integration 打开ktr文件报错"Unable to load step info from XML"
2024-01-04 10:57:42 1005
原创 【kettle】pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver
pdi/data-integration 集成kerberos认证连接hdfs、hive或spark thriftserver。含hadoop conf和kerberos认证工具类。
2024-01-02 19:08:32 1590
原创 【pentaho】kettle读取Hive表不支持bigint和timstamp类型解决。
时候kettle任务jdbc应提供为decimal类型(java 中是bigdecimal类型)的数据。这种仅仅是很难遇到的临界状态场景,其实可以忽略,所以把此判断去除直接让hive的。显示kettle认为此应该是decimal类型(kettle中是TYPE_BIGNUMBER或称BigNumber),但实际hive数据库中是big类型。本质就是kettle认为bigint分两种。的 就是 有正负的和 仅正的。到kettle类型转换的方法是。修改数据库连接的高级配置即可。都转为kettle的。
2023-12-21 17:13:37 1116
原创 【java】java类/方法冲突解决工具
NoSuchMethodError等 对应的参数列表类型可以参考此文章。文章介绍了-verbose:class使用方法。文章介绍了-verbose:class使用方法。
2023-12-12 15:06:22 134
原创 【idea】解决idea 执行maven build总下载 Downloading maven-metadata.xml文件
解决idea 执行maven build总下载 Downloading maven-metadata.xml文件
2023-11-22 10:05:14 1987
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人