在Spark中, 诸如ReduceByKey,GroupByKey等操作会触发Shuffle, 影响性能。
本文提供了一种利用广播Broadcast, 实现了join操作, 避免了Shuffle。
正常的join操作
val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test"))
// data1为较小数据, data2为较大数据
val data1 = sc.parallelize(Array(("1", "aa"),("2", "bb"),("3", "cc")),2)
val data2 = sc.parallelize(Array(("1", "spark", "hadoop"),("2", "ElasticSearch", "Flume"),("3", "Kafka", "Redis"),("4", "Flink", "HDFS"),("5", "Yarn", "Linux"),("6", "Windows", "MySQL")),3)
.map(x=>(x._1, x))
data1.join(data2).foreach(println(_))
本文利用的方法
val data1Broadcast = sc.broadcast(data1.collectAsMap())
data2.map(x => {
(x, data1Broadcast.value.getOrElse(x._1, ""))
}).filter(_._2!="").foreach(println(_))
其中, Broadcast会将数据分发至每个节点的内存中, 本方法只适合小数据, 否则会触发OOM。
但是, 这种方式除了能避免Shuffle之外, 还能够节省大量内存:
若有10个Executor, 每个Executor有100个task,每个副本30M
- Shuffle占用空间:10 * 100 * 30M = 29.3G
- 该方法占用空间:10 * 30M = 300M