继续上一篇学习spark
本次将介绍join发生了数据倾斜之后的一种解决方法
数据倾斜出现的原因
并行计算中,我们总希望分配的每一个任务(task)都能以相似的粒度来切分,且完成时间相差不大。但是由于集群中的硬件和应用的类型不同、切分的数据大小不一,总会导致部分任务极大地拖慢了整个任务的完成时间,数据倾斜原因如下:
1. 业务数据本身的特性
1. 业务数据本身的特性
2. Key分布不均匀
3. 建表时考虑不周
4。 某些SQL语句本身就有数据倾斜
3. 建表时考虑不周
4。 某些SQL语句本身就有数据倾斜
数据倾斜的
表现:
任务进度长时间维持,查看任务监控页面,由于其处理的数据量与其他任务差异过大,会发现只有少量(1个或几个)任务未完成。
数据倾斜的解决方案
数据倾斜有很多解决方案,本例简要介绍一种实现方式。假设表A和表B连接,表A数据倾斜,只有一个Key倾斜。首先对A进行采样,统计出最倾斜的Key。将A表分隔为A1只有倾斜Key,A2不包含倾斜Key,然后分别与B连接。代码如下:
val conf = new SparkConf()
.setAppName("Skew Join")
.set("spark.executor.memory", args(3))
val sc = new SparkContext(conf)
val card = sc.textFile(args(0)).map(x => (x, x))
val info = sc.textFile(args(1)).map { line =>
val field = line.split("\t")
val card = field(0)
val mid = field(1)
val count = field(2)
(card, (mid, count))
}
// 对产生数据倾斜的表进行抽样(这里假设只会出现一个数据倾斜的key)
val infoSample = info.sample(false, 0.1, 9).map(x => (x._1, 1)).reduceByKey(_ + _)
// 获得产生数据倾斜的key
val maxRowKey = infoSample.sortByKey(false).take(1).toSeq(0)._1
// 将产生数据倾斜的表进行分割,切分成2张表,一个表存的是发生数据倾斜的key的数据,还有个表是除了该key的数据
val skewedTable = info.filter(_._1 == maxRowKey)
val mainTable = info.filter(_._1 != maxRowKey)
val rs = sc.union(card.join(skewedTable), card.join(mainTable)).map(line => {
(line._1, line._2._2._1, line._2._2._2)
})
rs.saveAsTextFile(args(2))
这里用到了sample、union、join等函数,union相当于hive的union all,可以查下这几个函数的用法