Spark RDD弹性分布式数据集（2）——转换算子

目录

1.RDD的处理过程

2.转换算子

2.1 filter(func) 筛选

2.2 map(func) 将元素传递到函数func

2.3 flatMap 在map操作后，再flat（扁平化）操作

 2.4 groupByKey()  分组 

 2.5 reduceByKey(func)

---

1.RDD的处理过程

2.转换算子

转换：根据已有RDD创建新的RDD，每一次通过转换算子计算后都会返回一个新的RDD，供给下一个转换算子使用

常用转换算子：

2.1 filter(func) 筛选

在上一章RDD的创建中，/data目录下有test.txt文件

加载成RDD

输入：val lines=sc.textFile("file:///export/data/test.txt")

使用filter(func) 筛选

输入：val lineswitSpark = lines.filter(line=>line.contains("spark"))

意思是：RDDlines的值赋给line，line调用了一个contains方法判断是否有spark，若果有，则把这个值放在lineswitSpark中