第 19 节 Flink Broadcast广播变量-(scala代码)

上篇：第 18 节 DataSet之算子操作（java）

---

1、Flink Broadcast(广播变量)

广播变量允许编程人员在每台机器上保持1个只读的缓存变量，而不是传送变量的副本给tasks
广播变量创建后，它可以运行在集群中的任何function上，而不需要多次传递给集群节点。另外需要记住，不应该修改广播变量，这样才能确保每个节点获取到的值都是一致的
一句话解释，可以理解为是一个公共的共享变量，我们可以把一个dataset
数据集广播出去，然后不同的task在节点上都能够获取到，这个数据在每个节点上只会存在一份。如果不使用broadcast，则在每个节点中的每个task中都需要拷贝一份dataset数据集，比较浪费内存(也就是一个节点中可能会存在多份dataset数据)。

用法
1：初始化数据
DataSet toBroadcast = env.fromElements(1, 2, 3)

2：广播数据
.withBroadcastSet(toBroadcast, “broadcastSetName”);

3：获取数据
Collection broadcastSet = getRuntimeContext().getBroadcastVariable(“broadcastSetName”);

注意：

1：广播出去的变量存在于每个节点的内存中，所以这个数据集不能太大。因为广播出去的数据，会常驻内存，除非程序执行结束

2：广播变量在初始化广播出去以后不支持修改，这样才能保证每个节点的数据都是一致的。

---

2、代码的具体实现：

package batch

import org.apache.flink.api.common.functions.RichMapFunction
import org.apache.flink.api.scala.ExecutionEnvironment
import org.apache.flink.configuration.Configuration
//隐式转化
import org.apache.flink.api.scala._

import scala.collection.mutable.ListBuffer

/**
 * broadcast广播变量
 */
object BatchDemoBroadcastScala {
  def main(args: Array[String]): Unit = {
    //获取flink的运行环境
    val env = ExecutionEnvironment.getExecutionEnvironment

    //1、准备需要广播变量
    val broadData=ListBuffer[Tuple2[String,Int]]()
    broadData.append(("zs",18))
    broadData.append(("ls",20))
    broadData.append(("ww",21))

    //2、处理需要的广播数据
    val tupleData = env.fromCollection(broadData)
    val toBroadcastData = tupleData.map(tup => {
      Map(tup._1-> tup._2)
    })

    val text = env.fromElements("zs", "ls", "ww")

    val result= text.map(new RichMapFunction[String,String] {

      var ListData:java.util.List[Map[String,Int]]=null
      var allMap=Map[String,Int]()

      override def open(parameters: Configuration): Unit = {
        super.open(parameters)
      this.ListData = getRuntimeContext.getBroadcastVariable[Map[String, Int]]("broadcastMapName")
        val it=ListData.iterator()
        while (it.hasNext){
          val next = it.next()
          allMap=allMap.++(next)
        }
      }
      override def map(value: String) = {
        val age =allMap.get(value).get
         value+","+age
      }
    }).withBroadcastSet(toBroadcastData,"broadcastMapName")
    
    result.print()

    }
}

启动idea的代码程序，控制台打印信息：