- 博客(4)
- 收藏
- 关注
RSS订阅原创 解决报错Exception in thread “main“ java.lang.NoSuchMethodError: org.json4s.JsonDSL$.pair2Assoc流程
如果使用了更高版本的json4s 如3.7.0-M11 可能会存在方法签名变更 导致NoSuchMethodError 之后点击clean 清除旧版本依赖 避免冲突 最好多clean几遍 如果不行就重启ide。该错误是因为spark和scala以及json4的版本不匹配导致的。需要在pom文件中声明各个版本的依赖 确保版本后缀一致。这里建议json4s版本使用 3.6.11。下载一个你pom文件中版本的scala。检查IDE中的scala配置。之后apply 就能运行了。运行代码的时候 报错。
2025-03-19 15:53:56
285
1
原创 Linux部署Hudi
因为Hudi对各版本有要求 所以需要按照版本来 否则会需要解决他们的依赖冲突 这个过程很麻烦以下是我所使用的版本Hadoop3.1.3Hive3.1.2FlinkSpark首先先安装mavenmaven及Hudi配置相关安装包链接：https://pan.baidu.com/s/1OoKaSat30bsgeWAkSpWFSA?pwd=u9m9提取码：u9m9上传maven安装包并解压配置环境变量显示maven版本就是安装成功mvn -v由于此时的maven的镜像默认的是国外。
2024-02-04 19:14:59
1389
2
原创 Linux部署ClickHouse
➢ 由于某一列的数据类型都是相同的，针对于数据存储更容易进行数据压缩，每一列 选择更优的数据压缩算法，大大提高了数据的压缩比重。几乎覆盖了标准 SQL 的大部分语法，包括 DDL 和 DML，以及配套的各种函数，用户管 理及权限管理，数据的备份与恢复。日志文件路径：/var/log/clickhouse-server/clickhouse-server.log。在这个文件中，有 ClickHouse 的一些默认路径配置，比较重要的 可以自定义。数据文件路径：/var/lib/clickhouse/
2024-02-02 20:03:04
433
原创 Linux部署Azkaban
必须进入到/opt/module/azkaban/azkaban-exec 路径，分别在三台机器上，才能启动 executor server。如果在/opt/module/azkaban/azkaban-exec 目录下出现 executor.port 文件，说明 启动成功。必须进入到master的/opt/module/azkaban/azkaban-web 路径，启动 web server。Ooize 相比 Azkaban 是一个重量级的任务调度系统，功能全面，但配置使用 也更复杂。
2024-02-01 20:28:14
1035
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人