flink 广播变量

最新推荐文章于 2024-10-28 10:38:10 发布

kevin_wf

最新推荐文章于 2024-10-28 10:38:10 发布

阅读量2.4k

点赞数

分类专栏： flink 个人总结

本文链接：https://blog.csdn.net/wflh323/article/details/102918111

版权

本文介绍了Flink中的广播变量，包括静态广播变量和动态广播变量的使用。静态广播变量常用于黑名单判断，而动态广播变量适用于数据依赖于不断变化的处理规则的场景。文中通过实例展示了如何在keyed streaming和非keyed streaming中应用广播变量。

摘要由CSDN通过智能技术生成

使用过spark的人都知道广播变量这个概念。广播变量相当于一个共享变量，将一个小数据集复制分发到每个task，task直接从本地读取。flink中有两种广播变量，一种静态的广播变量，一种实时动态的广播变量。

静态广播变量示例:

使用场景如: 黑名单判断，将黑名单广播出去进行数据匹配。

public class FlinkBroadcast2 {
    public static void main(String[] args) throws Exception {
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
        DataSet<Integer> ds1 = env.fromElements(1, 2, 3, 4);
        DataSource<Integer> ds2 = env.fromElements(7, 8, 9, 10);
        ds2.map(new RichMapFunction<Integer, String>() {
            List<Integer> list = new ArrayList<Integer>();
            public void open(Configuration parameters) throws Exception {
               list = getRuntimeContext().getBroadcastVariable("bs");
            }

            @Override
            public String map(Integer integer) throws Exception {

                return integer.i