Spark基础学习笔记14：掌握RDD算子

目录

一、RDD算子

二、准备工作

（一）准备文件

1、准备本地系统文件

2、把文件上传到HDFS

（二）启动Spark Shell

1、启动HDFS服务

2、启动Spark服务

3、启动Spark Shell

三、转化算子

（一）映射算子 - map()

1、映射算子功能

2、映射算子案例

（二）过滤算子 - filter()

1、过滤算子功能

2、过滤算子案例

（三）扁平映射算子 - flatMap()

1、扁平映射算子功能

、扁平映射算子案例

（四）按键归约算子 - reduceByKey()

1、按键归约算子功能

2、按键归约算子案例

---

一、RDD算子

• RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。

二、准备工作

（一）准备文件

1、准备本地系统文件

• 在/home目录里创建words.txt

2、把文件上传到HDFS

• 将words.txt上传到HDFS系统的/park目录里

• 说明：/park是在上一讲我们创建的目录
• 查看文件内容

（二）启动Spark Shell

1、启动HDFS服务

• 执行命令：start-dfs.sh

如果采用的是Spark on YARN集群或者Spark HA集群，那么还得启动YARN服务

2、启动Spark服务

• 进入Spark的sbin目录执行命令：./start-all.sh

3、启动Spark Shell

• 执行名命令： spark-shell --master spark://master:7077

三、转化算子

• 转化算子负责对RDD中的数据进行计算并转化为新的RDD。Spark中的所有转化算子都是惰性的，因为它们不会立即计算结果，而只是记住对某个RDD的具体操作过程，直到遇到行动算子才会与行动算子一起执行。

（一）映射算子 - map()

1、映射算子功能

• map()是一种转化算子，它接收一个函数作为参数，并把这个函数应用于RDD的每个元素，最后将函数的返回结果作为结果RDD中对应元素的值。

2、映射算子案例

• 预备工作：创建一个RDD - rdd1
• 执行命令：val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))

任务1、将rdd1每个元素翻倍得到rdd2

• 对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

• 上述代码中，向算子map()传入了一个函数x = > x * 2。其中，x为函数的参数名称，也可以使用其他字符，例如a => a * 2。Spark会将RDD中的每个元素传入该函数的参数中。

• 其实，利用神奇占位符_可以写得更简洁

 rdd1和rdd2中实际上没有任何数据，因为parallelize()和map()都为转化算子，调用转化算子不会立即计算结果。

• 若需要查看计算结果，则可使用行动算子collect()。（collect是采集或收集之意）

• 执行rdd2.collect进行计算，并将结果以数组的形式收集到当前Driver。因为RDD的元素为分布式的，数据可能分布在不同的