RDD的 transformations 和 actions 总结

RDD的transformations和actions

两个RDD：一个RDD包含 {1, 2, 3} , 另一个RDD包含{3, 4, 5}

函数名	功能	例子	结果
map()	对每个元素应用函数	rdd.map(x=>x+1)	{2，3，4，4}
intersection()	交集 rdd.intersection(other)	{3}
subtract()	取存在第一个RDD，而不存在第二个RDD的元素(使用场景，机器学习中，移除训练集)	rdd.subtract(other)	{1,2}
cartesian()	笛卡儿积	rdd.cartesian(other)	{ (1,3), (1,4), … (3,5) }
colletc()	返回RDD的所有元素	rdd.collect()	{1,2,3,3}
count()	计数	rdd.count()	4
countByValue()	返回一个map，表示唯一元素出现的个数	rdd.countByValue()	{ (1,1) ,(2,1), (3,2) }
take(num)	返回num个元素	rdd.take(2)	{1,2}
top(num)	返回前num个元素	rdd.top(2)	{3 , 3}
takeOrdered(num)(ordering)	返回基于的排序算法的前几个元素	rdd.takeOrdered(2)(MyOrdering)	{3, 3}
takeSample(withReplacement,num,[seed])	取样例	rdd.takeSample(false, 1)	不确定
reduce(func)	合并RDD中的元素	rdd.reduce((x, y ) => x+y )	9
fold(zero)(func)	与reduce()相似提供zero value	rdd.flod(0)((x, y ) => x+y )	9
aggregate(zeroValue)(seqOp,combOp)	与fold()相似，返回不同类型	rdd.aggregate((0, 0) (x, y)) => (x._1 +y , x._2 + 1), (x, y)=>(x._1 +y ._1, x._2 + y._2),	(9 , 4)
foreach(func)	对RDD的每个元素作用函数，上面也不返回	rdd.foreach(func)	什么也没有