flink
如果丶可以坑
这个作者很懒,什么都没留下…
展开
-
【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60
【flink】随机可以导致的异常 key group from 77 to 103 does not contain 60原创 2023-03-06 10:46:27 · 233 阅读 · 0 评论 -
flink中的netty版本与所依赖包中不一致情况
1、 可以再单独依赖一个版本netty,与flink保持一致2、还可以在项目中重新依赖与依赖中相同的版本,注意scope范围一定要大原创 2021-09-14 16:05:29 · 536 阅读 · 0 评论 -
flink中读取kafka消息写进es中消费进度过慢问题
问题:在数据量较小的时候,从kafka中读取消息并写入es,没什么问题。但是等数据量多的时候,发现读kafka消息向es写入速度明显变慢,出现了时间上较大的延迟。最后排查原因,发现是es有提交的机制,设置的最大的提交量是1,这样就会导致数据每来一条就要执行一次提交的操作,这样极大的拖慢了整个系统的处理速度。esSinkBuilder.setBulkFlushMaxActions(1);后面修改为 esSinkBuilder.setBulkFlushMaxActions(1000原创 2021-08-17 20:48:17 · 2722 阅读 · 0 评论