flink-9 广播变量

概念

广播变量允许编程人员在每台机器上保持一个只读的缓存变量，而不是传送变量的副本给tasks
广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致的
一句话解释，可以理解为是一个公共的共享变量，我们可以把一个dataset 数据集广播出去，然后不同的task在节点上都能够获取到，这个数据在每个节点上只会存在一份。
如果不使用broadcast，则在每个节点中的每个task中都需要拷贝一份dataset数据集，比较浪费内存(也就是一个节点中可能会存在多份dataset数据)。

用法

• 初始化数据
  DataSet toBroadcast = env.fromElements(1, 2, 3)

• 广播数据
  .withBroadcastSet(toBroadcast, “broadcastSetName”);

• 获取数据
  Collection broadcastSet = getRuntimeContext().getBroadcastVariable(“broadcastSetName”);

注意：

• 广播出去的变量存在于每个节点的内存中，所以这个数据集不能太大。因为广播出去的数据，会常驻内存，除非程序执行结束
• 广播变量在初始化广播出去以后不支持修改，这样才能保证每个节点的数据都是一致的。

示例

import java.util
import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.Configu