Spark利用Broadcast实现Join避免Shuffle操作

在Spark中， 诸如ReduceByKey，GroupByKey等操作会触发Shuffle， 影响性能。
本文提供了一种利用广播Broadcast， 实现了join操作， 避免了Shuffle。

正常的join操作

---

    val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test"))
    // data1为较小数据， data2为较大数据
    val data1 = sc.parallelize(Array(("1", "aa"),("2", "bb"),("3", "cc")),2)
    val data2 = sc.parallelize(Array(("1", "spark", "hadoop"),("2", "ElasticSearch", "Flume"),("3", "Kafka", "Redis"),("4", "Flink", "HDFS"),("5", "Yarn", "Linux"),("6", "Windows", "MySQL")),3)
        .map(x=>(x._1, x))

   data1.join(data2).foreach(println(_))

本文利用的方法

---

    val data1Broadcast = sc.broadcast(data1.collectAsMap())
    data2.map(x => {
      (x, data1Broadcast.value.getOrElse(x._1, ""))
    }).filter(_._2!="").foreach(println(_))

其中， Broadcast会将数据分发至每个节点的内存中， 本方法只适合小数据， 否则会触发OOM。
但是， 这种方式除了能避免Shuffle之外， 还能够节省大量内存：
若有10个Executor， 每个Executor有100个task，每个副本30M

• Shuffle占用空间：10 * 100 * 30M = 29.3G
• 该方法占用空间：10 * 30M = 300M

转载于:https://my.oschina.net/dreamness/blog/3077274