Spark算子之间的区别

map和mapPartitions的区别

map用于处理RDD的每个元素，mapPartitions是用于处理RDD的每个分区

map和foreach的区别

1. map属于transformation算子，foreach属于action算子
2. map有返回值，foreach没有返回值map有返回值，foreach没有返回值
3. map常用于将某个RDD做元素的处理，foreach常用于作为结果的输出到其他的存储系统中

foreach和foreachPartition

foreach是针对于RDD的每个元素进行操作，foreachPartition是针对RDD的每个分区进行操作的。
从优化层面讲，foreachPartition用于存储大量结果数据的场景，可以一个分区对应一个数据库的连接，这样就可以减少很多数据库的连接
rdd.foreachPartition(partition => {
val conn = … //数据库连接
partition.foreach(func)//进行存储
})

groupByKey和reduceByKey的区别

groupByKey不会再分区内进行操作，只会在全局进行操作。
而reduceByKey即会在分区内进行操作，也会在全局进行操作，看源码可以看到reduceByKey中调用的是combineByKeyWithClassTag方法,reduceByKey的局部和全局操作的函数相同

//com