文章目录
一、Flink中广播Broadcast State
1、使用目的
是为了实现高效的关联字典数据(map side join),可以动态的修改Broadcast State里面的值!
2、使用方法
- 创建两个了流,其中一个是可广播的流,另外一个是非广播的流
- 可广播的流会通过网络广播到所有的TaskManager的TaskSlot中
- 非广播的流要连接广播的流,然后就可以实现关联
二、需求
1、需要广播的字典数据
type,id,activity
INSERT,1,新人礼包
INSERT,2,女神节促销
INSERT,3,周末活动
UPDATE,3,周末抽奖
DELETE,3,周末抽奖
2、要关联字典的费广播数据
uid,dt,id
uid01,2020-03-08 11:11:11,2
uid01,2020-03-08 11:11:11,1
uid01,2020-03-08 11:11:11,3
uid01,2020-03-08 11:11:11,3
三、代码深入理解
1、将广播的流处理,广播到各个subTask中
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.state.BroadcastState;
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.api.common.state.ReadOnlyBroadcastState;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.api.java.tuple.Tuple4;
import org.apache.flink.streaming.api.datastream.BroadcastConnectedStream;
import org.apache