Hudi集成Flink

最新推荐文章于 2024-09-18 17:16:31 发布

－觅－

最新推荐文章于 2024-09-18 17:16:31 发布

阅读量525

点赞数 1

分类专栏： Hudi

本文链接：https://blog.csdn.net/qq_36732299/article/details/117444513

版权

Hudi 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文记录了在使用Hudi 0.9版本时遇到的数据插入卡死问题，特别是在Flink环境中。通过检查hudi的日志，发现错误源于类加载顺序。解决方案是修改Flink的配置文件，将`classloader.resolve-order`设置为`parent-first`，参考链接提供了更多关于Flink配置的官方文档。后续将继续更新相关修复和经验。

摘要由CSDN通过智能技术生成

hudi 0.9 版本踩坑

hudisql client插入数据卡死

异常显示一

进入hudi /log 下面执行tail -f * 查看错误在哪？

Standalone session 的 Flink

Caused by: java.lang.ClassCastException:org.apache.hudi.common.metrics.LocalRegistry cannot be cast to org.apache.hudi.common.metrics.Resigtry

原因：类加载顺序导致

解决办法：

进入conf文件修改为classloader.resolve-orde="parent-first"。

https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#classloader-resolve-order

后续持续补充。

conf文件这几个参数需要修改

classloader.resolve-order: parent-first
state.backend: rocksdb
state.checkpoints.dir: hdfs://172.18.231.130:12001/hudi/
historyserver.archive.fs.refresh-interval: 1000
state.savepoints.dir: hdfs://172.18.231.130:12001/hudi/flink-savepoints