![](https://img-blog.csdnimg.cn/e8217c28083d483abd9136f325a8e059.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink大数据量实战
文章平均质量分 54
flink大数据量实战
左林右李02
mt实时数据平台研发
展开
-
flink async IO和自己在MapFunction中使用线程池的区别
上篇介绍了常见的算子,本文介绍另外一个重要的算子:Async I/O,即异步IO。它是流中频繁访问外部数据的利器,特别是当访问比较耗时的时候。产生背景先考虑一个实际中挺常见的场景:一个流处理程序中对于每个事件都要查一次外部的维表(比如HBase,这里暂不考虑缓存机制)做关联,那在Flink中如何实现呢?典型的做法就是增加一个map/flatmap,在里面做一下查询关联。这样功能没问题,但这个查询很容易会变成系统的瓶颈,特别是当外部查询比较耗时的时候。好在Flink里面有一个异步IO算子,可以很好的解决这转载 2022-02-15 16:58:59 · 1021 阅读 · 0 评论 -
flin1.9\1.10无法重用classloader
https://issues.apache.org/jira/browse/FLINK-16408Flink won’t reuse class loaders across different job submissions. If you submit a job (even if it is the same user code as a previous job), then Flink will treat it as a new job for which it will create a n原创 2021-10-13 21:48:25 · 106 阅读 · 0 评论 -
flink+redis性能优化,根据redis的一致性hash分区策略调整flink keyby策略
flink+redis性能优化,根据redis的一致性hash分区策略调整flink keyby策略原创 2021-08-18 20:48:40 · 554 阅读 · 0 评论 -
kafka2hdfs任务ckp之间的offset变化很大,怎么自己管理offset
kafka2hdfs任务ckp之间的offset变化很大,怎么自己管理offset原创 2021-08-17 10:59:57 · 133 阅读 · 0 评论 -
Insufficient number of network buffers
Insufficient number of network buffers报错日志&截图问题原因解决方案方案一:通过任务拓扑计算所需network buffer大小:方案二:根据经验直接调整flink-conf.yaml文件中的taskmanager.memory.network.fraction参数报错日志&截图问题原因task在申请MemorySegment时获取不到所需的数量,抛出IOException,detail message为Insufficient number o原创 2021-08-06 10:54:42 · 1134 阅读 · 0 评论