【Spark 常见问题】Spark数据倾斜

【Spark数据倾斜】

B站视频：https://www.bilibili.com/video/BV1834y1d772

---

• 现象
  一个Spark任务中，大多数task任务运行速度很快，就有那么即可task任务运行缓慢，慢慢的可能接着报出内存溢出的问题了，这个时候就可以认定为数据倾斜了；
• 原理
  spark中数据倾斜不是说原始数据存在倾斜，原始数据都是一个一个的block，大小都是一样的，不存在数据倾斜；
  数据倾斜指的是在shuffle过程，由于不同的key对应的数据量不同，导致task处理的数据量不同
• 常见产生数据倾斜场景
  
  分组聚合逻辑中，需要把相同key的数据发送到下游同一个task，如果某个或者几个key的数量特别大，导致下游某个或者某几个task所要处理的数据量特别大，也就是要处理的任务负载特别大。
  
  join计算中，A表和B表相同key的数据发送到下游同一个task，如果A表或者B表中，某个key或者某几个key数据量很大
• 危害
  1.程序执行缓慢：部分任务耗时远高于其他任务，从而使得整体任务耗时过大，未能充分发挥分布式系统的并行计算优势
  2.报错OOM：部分任务处理的数据量过大，造成内存不足使得当前任务失败，引发重试，多次重试仍然不正常，导致整个应用失败。
  3.集群崩溃：应用不能按时完成，资源无法释放，后续任务不断请求资源，系统调用暴增，导致集群雪崩。

如何定位数据倾斜的代码

一个spark job由多个stage组成，stage之间具有前后关系，所以是串行执行的，一个stage由多个task组成，每个task之间可以并行运行，一个stage的运行时间由耗时最长的task决定。stage划分就是根据会产生shuffle的算子，也就是宽依赖划分的。

• 定位步骤：
  1.经验：查看代码中的shuffle算子，根据代码逻辑猜测是否会产生数据倾斜
  2.spark log文件：记录错误发生在代码的哪一行，再根据自己的理解定位哪个shuffle算子
  3.spark web UI：数据倾斜产生时，可以用UI界面很明显的看到三个现象
  1）某个stage运行时间过长
  2）shuffle read和shuffle write数据量相差巨大
  3）某个task运行时间过长，读写数据量相差很大

---

1.查看stage:

stageid = 12 的耗时以及read write差距很大

2.查看stageid = 12 的详情：

点开这个发生了数据倾斜的stage，查看task运行情况可以看到第三个问题：task运行时间过长，并且读写数据量差距大，可以看到红框中的task们所需要的时间都是10h+，其他的时分钟级，从而拖慢了整个任务的执行时间。

总结：先锁定stage在锁定task

数据倾斜解决方案

1.调整shuffle并行度

2.自定义分区Partitioner

3.两阶段聚合

object WordCountAggTest{
	def main(args:Array[String]):Unit={
		val conf = new SparkConf().setMaster("local").setAppName("wordcount")
		val sc = new SparkContext(conf)
		val array = Array("what what","what what"
		,"what what","what what","what what","what what"
		,"what what","what what","word word")

		val rdd = sc.parallelizer(array,8)

		rdd.flatMap(x=>x.split(" "))
		   .map(word=>{
				val prefix = (new util.Random).nextInt(3)
				(prefix+"_"+word,1)
			   })
		   .reduceBykey(_+_)	
		   .map(wc=>{
				val newWord = wc._1.split("_")(1)
				val count = wc._2
				(newWord,count)
			})					 
 		   .reduceBykey(_+_)	
 		   .foreach(wc=>{
				println("word:"+ wc._1 + "time" + wc._2);
			})


	}

}

4.map join



5.采样key




6.大表散列，小表扩容