![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 92
flink
我爱刮刮乐
这个作者很懒,什么都没留下…
展开
-
第5章 DataStream API
当Flink提供的所有分区策略都不能满足用户的需求时,我们可以通过使用partitionCustom()方法来自定义分区策略。1)自定义分区器@Override2)使用自定义分区5.3.5分流所谓“分流”,就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream,定义一些筛选条件,将符合条件的数据拣选出来放到对应的流里。5.3.5.1简单实现。原创 2024-06-05 22:11:51 · 641 阅读 · 0 评论 -
第4章 Flink运行时架构
很显然,TaskManager的计算资源是有限的,并行的任务越多,每个线程的资源就会越少。一个数据流在算子之间传输数据的形式可以是一对一(one-to-one)的直通(forwarding)模式,也可以是打乱的重分区(redistributing)模式,具体是哪一种形式,取决于算子的种类。在Flink执行过程中,每一个算子(operator)可以包含一个或多个子任务(operator subtask),这些子任务在不同的线程、不同的物理机或不同的容器中完全独立地执行。在这种模式下,数据流的分区会发生改变。原创 2024-06-05 21:38:32 · 493 阅读 · 0 评论