Spark性能优化：RDD方法优化

对于RDD中某些函数使用注意

1.能不使用groupByKey函数就不使用，除非不得已

redcueByKey（combiner） =  groupBy+ map(变量值相加)

redcueByKey可以先进行本地聚合操作

2.尽量使用XXPartition函数代替XX函数

xx:map/foreach/zip

                     def foreach(f: T => Unit): Unit

                            f:针对RDD中每个元素进行的操作处理的

                     def foreachPartition(f: Iterator[T] => Unit): Unit

                            f:针对RDD中每个分区的元素进行操作处理的

              比如RDD中2个分区，100条数据，现将数据报道MYSQL表中

                     foreach

                            item ->mysql

                            connection ->创建100次

                     foreachPartition

                            对每个分区中数据

                            只要获取2个连接即可

3.适当的降低或者增加RDD分区数目

 

RDD的分区对应一个Task处理数据

def repartition(numPartitions: Int)  -产生shuffle

def coalesce(numPartitions: Int, shuffle: Boolean = false)

              一开始的时候，数据量比较多，可以加到RDD分分区数，增加并行度（在集群资源充足的情况下）

              当数据预处理之后（尤其过滤清洗之后）。RDD中数据量减少了很多，此时可以考虑减少分区的数目