解决spark的数据倾斜以及优化

spark的参数调优
	1.shuffle调优参数
		--spark.reducer.maxSizeInFlight 在shuffle-read时缓冲区的大小可以适当的加大一点，默认是48M，可以调为96M
		spark.shuffle.compress 是否支持压缩，默认是支持压缩的，将该值保持为true
		spark.shuffle.file.buffer 在shuffle-write阶段buffer的大小，默认是32kb，可以调为48kb，或者64kb
		spark.shuffle.io.maxRetries 这是spark失败重试次数，默认是三次，可以设置大一点
		spark.shuffle.io.retryWait 这是两次失败之间的等待次数，默认是5秒，可以设置为30秒
		spark.shuffle.sort.bypassMergeThreshold 是否开启bupassMerge的阈值 默认是true， 如果不是调为true
		spark.shuffle.memoryFraction 这是executor运行占内存的大小，默认是0.2，可以设置为0.3，九十占用内存的30%
	2.spark的内存调优
		spark.sql.inMemoryColumnarStorage.compressed 如果设置为true，spark会根据文件选择一种压缩方式进行压缩
	3.其他调优参数
		spark.sql.files.maxPartitionBytes 默认是128M，获取到分区数据的最大字节数
		spark.sql.files.openCostInBytes 默认是4M，表示小于4M的小文件会合并到一个分区
		spark.sql.broadcastTimeout 广播等待超时时长
		spark.sql.autoBroadcastJoinThreshold 默认是10M，最大广播变量表大小
		spark.sql.shuffle.partitions 设置shuffle分区数，默认是200



spark的优化机制
	1.避免读取重复的RDD，需要数据一样，便不要再次读取
	2.如果有多个行动算子用到同一个RDD的数据，就将这个RDD持久化，这样可以直接通过血缘追踪到持久化的文件，之前的步骤也就不用在执行
	3.尽量避免使用产生shuffle的算子
	4.要使用产生shuffle的算子，就尽量使用预聚合的算子，比如说reduceByKey代替groupByKey
	5.使用广播变量，优化数据结构
	6.使用kyro的序列化机制
	7.过滤掉少量的倾斜key
	8.提高shuffle的并行度
	9.两阶段聚合(局部聚合+全局聚合)
	10.采用预聚合方案，将reduce-join变成map-join
	11.采用随机前缀，分散倾斜key
可以将以上多种方法组合