![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 74
菠菜很好吃
每天学一点
展开
-
flink日志里的3>是什么意思?
flink小知识点原创 2023-02-05 10:48:58 · 185 阅读 · 0 评论 -
Flink的DataStream介绍
1|0一:流式处理基本概念 流处理系统本身有很多自己的特点。一般来说,由于需要支持无限数据集的处理,流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子,然后等到数据到达后对数据进行处理。 为了表达复杂的逻辑,flink在内的分布式流处理引擎,一般采用 DAG 图来表示整个计算逻辑,其中 DAG 图中的每一个点就代表一个基本的逻辑单元,也就是前面说的算子,由于计算逻辑被组织成有向图,数据会按照边的方向,从一些特殊的 Source 节点流入系统,然后通过网络传输、本地传输等不同的数据传输转载 2021-09-04 10:20:31 · 1518 阅读 · 0 评论 -
Flink的八种分区策略源码解读
Flink包含8中分区策略,这8中分区策略(分区器)分别如下面所示,本文将从源码的角度一一解读每个分区器的实现方式。GlobalPartitioner ShufflePartitioner RebalancePartitioner RescalePartitioner BroadcastPartitioner ForwardPartitioner KeyGroupStreamPartitioner CustomPartitionerWrapper继承关系图接口名称Chan..转载 2021-09-04 09:50:52 · 555 阅读 · 0 评论 -
flink的分区器
flink:1.8.0flink 和spark一样,都有分区器,也可以自定义分区器,用来决定上下游直接的数据关系flink中的分区器如下图ChannelSelector功能:这个接口的核心功能是对输入的record选择一个逻辑的channel主要方法:setup初始化channel的数量 selectChannel根据recore和channel的数量来决定发送到下游的哪个channel isBroadcast是否广播模式,决定是否将记录写入到下游的所有channel...转载 2021-09-04 09:46:55 · 367 阅读 · 0 评论