面试官问:Flink内部数据在算子链内外如何交换?Flink为何能高效处理数据?你该怎么回答呢?

Task正式处理数据前,会创建OperatorChain。这个过程会为当前Task上所有的算子创建output。

output就是我们平时写Flink代码时用到的“output.collect(...)”代码。

算子链中只有1个算子

比如算子链中只有一个map算子。

以这样一个Flink任务为例说明算子链外的数据交换:Source(p=1)->map(p=2)->Sink(p=1)。每个算子都是独立的算子链。

首先会创建map算子的输出是mainOperatorOutput=RecordWriterOutput。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Better~Me

谢谢小可爱,希望你每天都开心~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值