RDD编程(2)
一、RDD操作(转换操作filter,map,flatMap)
(1) filter(func)
(2) map(func)
- 分拆后返回的数据类型是列表类型
(3) flatMap(func)
- 先进行.map操作得到一个个列表(wordArray里包含3个元素,每个元素就是一个列表)
- 把每个列表都拍扁,原来wordArray中的每一个列表拍扁后分别对应三个元素,所以拍扁后会得到九个元素,九个元素组合在一起就是flatMap()操作的结果
(4) groupByKey(K,V)
- \ 是换行符
- K相同放到一个分组里,结果生成(K,ValueList)。把K相同的值归为一个列表。
(5) reduceByKey(func)
-
在groupByKey()的基础上进一步对值的列表进行一个计算(括号内的函数计算)
-
先得到groupByKey的结果
-
再进行括号内的函数操作,累加
二、RDD操作(行动操作)
例子: