![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink原理
文章平均质量分 55
zc280330
这个作者很懒,什么都没留下…
展开
-
记录Flink1.9线上checkpoint失败的问题
记录Flink1.9线上checkpoint失败的问题最新在线上更新了代码之后导致了任务在消费kafka数据的时候,突然就不消费数据了,发现原因在公司的可视化界面中,看不到数据的更新,进入flink监控页面中看到任务没有failover过的记录任务界面虽然任务在正常的运行中,但实际情况是已经不消费数据了,最开始以为代码有问题,经过检查发现代码没有问题,然后查看checkpoint的情况,发现了问题,flink在做checkpoint的时候出现了失败checkpoint失.转载 2021-01-26 10:58:01 · 896 阅读 · 0 评论 -
flink rich function的open和close方法执行时机
我们在使用flink的时候,经常会有自定义函数的时候,我们可以继承相关的richXXXFunction类,这个类里面会有open,close方法进行相关初始化和关闭的操作,那么这些方法是什么时候执行的呢?带着这个问题,我们以自定义SourceFunction为例,进行研究。我们可以自定义source,也比较方便,extends RichSourceFunction 这个类就可以实现,下面的例子就是我们定义一个mysql的sourcepublic class MySource extends Ric原创 2021-01-23 17:34:25 · 10314 阅读 · 5 评论 -
Flink中异步AsyncIO的实现 (源码分析)
Flink中异步AsyncIO的实现 (源码分析)先上张图整体了解Flink中的异步io阿里贡献给flink的,优点就不说了嘛,官网上都有,就是写库不会柱塞性能更好然后来看一下, Flink 中异步io主要分为两种 一种是有序Ordered 一种是无序UNordered主要区别是往下游output的顺序(注意这里顺序不是写库的顺序既然都异步了写库的顺序自然是无法保证的),有序的会按接收的顺序继续往下游output发送,无序就是谁先处理完谁就先往下游发送两张图了解这两种模.转载 2021-01-23 12:22:57 · 129 阅读 · 0 评论 -
flink keyby操作的原理
对比spark:spark的keyby操作是按照key将所有的value聚合成一个collectionflink的keyby:则主要是将相同key的元素拉到同一个partition,因此也会在同一个task中被处理,但是元素与元素之间并没有聚合的操作。...原创 2021-01-20 14:49:55 · 3067 阅读 · 0 评论