bigdata
揣瞌睡的丁丁猫儿
这个作者很懒,什么都没留下…
展开
-
动态更新nodemanager 资源配置
节点还有空余资源可用,现需增加yarn资源yarn-site.xml 同级目录下增加dynamic-resources.xml文件<!--host:port nodemanager 对应的hostname 端口--><configuration> <property> <name>yarn.resource.dynamic.nodes</name> <value>host:port</value>原创 2022-03-01 17:44:50 · 403 阅读 · 0 评论 -
flink sink mysql 时区问题
flink sql sink mysql 时区问题以下是flink sql sink mysql 参数官网参数中是没有时区相关配置,另一种jdbc连参数配置的方式就是url中,所以在url中添加&serverTimezone=Asia/Shanghai即可原创 2022-01-14 18:19:42 · 1549 阅读 · 0 评论 -
flink sink hudi: org.apache.hudi.org.apache.avro.InvalidAvroMagicException: Not an Avro data file
env:flink-1.13.2hudi-0.10.0重启flink sink hudi 任务出现此异常org.apache.flink.util.FlinkException: Global failure triggered by OperatorCoordinator for 'hoodie_stream_write' (operator f1d7c56f4bf5fc204e4401416e5b3884). at org.apache.flink.runtime.operators.c原创 2021-12-30 10:22:13 · 3558 阅读 · 0 评论