- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flink实战：java.lang.RuntimeException: An error occurred in ElasticsearchSink
怀疑ES集群在OldGC时造成 http 长连接dead，而且不会创建新的连接，导致数据刷ES超时。添加自定义的KeepAliveStrategy,这里维持时间设置为 5min。查看elasticsearch集群是正常的，而且负载没很高。而ES sink使用的默认连接时间是-1。解决方法一:设置刷新配置参数。说明在Sink时有问题。
2024-04-25 10:15:42
380
4
原创 flink任务提交到yarn 运行 报错: java.lang.ArrayStoreException
flinkcdc java 项目任务同步mysql数据到ES，本地开发没有报错，打包完成运行报错，java.lang.ArrayStoreException，最后把flink-sql-connector-elasticsearch7_2.11-1.14.4.jar注释掉就好了，怀疑就是跟。
2023-08-15 15:11:09
146
原创 java.lang.NoSuchMethodError org.apache.commons.codec.binary.Base64.＜init＞(I)V
报错没有这个方法，重新添加依赖解决。
2023-08-01 10:37:19
369
原创 使用flink CUMULATE 累积函数遇到锁表的问题
图中是我统计每天的数据量，并做每10秒钟的输出，使用了CUMULATE函数后，不会内存溢出了，出现了锁mysql 表的情况，离线修复不了，不知道大家有没有遇到这种情况？
2023-06-14 11:04:52
183
原创 JDBC druid流式读取mysql 亿级表，并将数据插入到doris
JDBC druid流式读取mysql 亿级表，并将数据插入到doris
2023-01-10 16:08:42
1620
原创 spark3.2 编译成功 hudi 0.12.0 并且配置了，但是sparksql建hudi表就报错
spark3.2 编译成功 hudi 0.12.0 并且配置了，但是sparksql建hudi表就报错
2022-12-19 15:23:57
698
2
原创 flink1.14.4-iceberg0.15-doris1.1.3 踩坑日志
flink1.14.4-iceberg0.15-doris1.1.3 踩坑日志
2022-11-03 11:49:39
626
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人