map与mapPartitions

区别在于sc.map是将RDD下的所有行数据统计处理。而sc.mapPartitions是按RDD分区进行数据统计处理。

测试一下：

val data = sc.parallelize(1 to 6,3)
def mapTest(param1:Int):Int={
	println("by map,data:"+param1)
	param1*2
}

def mapPartitionsTest(listParam:Iterator[Int]):Iterator[Int]={
	println("by partition:")
	var res = for(param<-listParam) yield param*2
	res
}
data.map(mapTest).collect
data.mapPartitions(mapPartitionsTest).collect

map输出的是6行记录，也就是说一行数据一条记录。

mapPartitions输出的是3行记录，也就是说一个分区一次处理。

 

另外我在spark-shell写自定义方法时发现有个问题：

def mapPartitionsTest(listParam:Iterator[Int]):Iterator[Int]={
	println("by partition:")
	var res = for(param<-listParam) 
        {
             yield param*2
        }
	res
}

如果我这么写yield，会报 illegal start of statement这个错误，和我说声明的不合法。 奇怪，试了办法没有找到原因，最后把大括号去掉就没有问题了