尚硅谷Flink教程学习笔记(Flink运行时架构)

source 读取数据源,rebalance 随机重新分区,flatmap基于 hashcode 重分区,key aggregate 聚合操作,最后传播到 sink 进行输出
在这里插入图片描述
在这里插入图片描述

这里面涉及到宽依赖和窄依赖的知识
在这里插入图片描述

在这里插入图片描述
比如说StreamWordCount代码里的filter、map、keyby就是一个任务链,当具有相同并行度的时候就会被Flink链接成一个任务链,也即看做一个task,里面有三个算子filter、map、keyby
来看一下:
启动我们的集群:
在这里插入图片描述
然后到webUI界面看一下我们提交的StreamWordConnt代码的Jar包的Job,可以看到下图只有一个TaskManager和一个TaskSlots,然后available Task Slots为0,因为唯一的一个已经被分配给stream word count job了
在这里插入图片描述

然后红色方框里就会我们的flink的task流,其中有两个任务链Operator Chains,因为我在代码里没有设置并行度,在开启job的时候提交的并行度参数是2,所以可以看到有两个蓝色框,然后每个蓝色框里面是一个任务流,里面包含着one-to-one的并行度都为1的算子,里面的每个算子都是subtask
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值