一、RDD算子
- RDD被创建后是只读的,不允许修改。Spark提供了丰富的用于操作RDD的方法,这些方法被称为算子。一个创建完成的RDD只支持两种算子:
转化(Transformation)
算子和行动(Action)
算子。
二、准备工作
(一)准备文件
1、准备本地系统文件
- 在
/home
目录里创建words.txt
2、把文件上传到HDFS
- 将
words.txt
上传到HDFS系统的/park
目录里
查看文件内容
(二)启动Spark Shell
1、启动HDFS服务
- 执行命令:
start-dfs.sh
如果采用的是Spark on YARN集群或者Spark HA集群,那么还得启动YARN服务
2、启动Spark服务
- 进入Spark的
sbin
目录执行命令:./start-all.sh
3、启动Spark Shell
- 执行名命令:
spark-shell --master spark://master:7077
三、转化算子
转化算子负责对RDD中的数据进行计算并转化为新的RDD。Spark中的所有转化算子都是惰性的,因为它们不会立即计算结果,而只是记住对某个RDD的具体操作过程,直到遇到行动算子才会与行动算子一起执行。
(一)映射算子 - map()
1、映射算子功能
map()是一种转化算子,它接收一个函数作为参数,并把这个函数应用于RDD的每个元素,最后将函数的返回结果作为结果RDD中对应元素的值。
2、映射算子案例
预备工作:创建一个RDD - rdd1
执行命令:val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))
任务1、将rdd1每个元素翻倍得到rdd2
-
对
rdd1
应用map()算子,将rdd1
中的每个元素平方并返回一个名为rdd2
的新RDD -
利用神奇占位符
_
可以写得更简洁
rdd1
和rdd2
中实际上没有任何数据,因为parallelize()
和map()
都为转化算子,调用转化算子不会立即计算结果。
-
若需要查看计算结果,则可使用行动算子
collect()
。(collect是采集或收集之意) -
执行
rdd2.collect
进行计算,并将结果以数组
的形式收集到当前Driver
。因为RDD的元素为分布式的,数据可能分布在不同的节点上。 -
任务2、将rdd1每个元素平方得到rdd2
- 方法一、采用普通函数作为参数传给map()算子
- 方法二、采用下划线表达式作为参数传给map()算子
- 刚才翻倍用的是
map(_ * 2)
,很自然地想到平方应该是map(_ * _)
报错,(_ * _)经过eta-expansion变成普通函数,不是我们预期的x => x * x,而是(x$1, x$2) => (x$1 * x$2),不是一元函数,而是二元函数,系统立马就蒙逼了,不晓得该怎么取两个参数来进行乘法运算。
难道就不能用下划线参数了吗?当然可以,但是必须保证下划线表达式里下划线只出现1次。引入幂函数scala.math.pow就可以搞定。
但是有点美中不足,rdd2的元素变成了双精度实数,得转化成整数
半菱形
(二)过滤算子 - filter()
1、过滤算子功能
filter(func):通过函数func对源RDD的每个元素进行过滤,并返回一个新RDD,一般而言,新RDD元素个数会少于原RDD。
2、过滤算子案例
任务1、过滤出列表中
基于列表创建RDD,然后利用过滤算子得到偶数构成的新RDD
方法一、将匿名函数传给过滤算子的偶数
方法二、用神奇占位符改写传入过滤算子的匿名函数
- 将
rdd1
里的每一个元素x
拿去计算x % 2 == 0
,如果关系表达式计算结果为真,那么该元素就丢进新RDD -rdd2
,否则就被过滤掉了。
-
查看源文件
/park/words.txt
内容 -
执行命令:
val lines= sc.textFile("hdfs://master:9000/park/words.txt")
,读取文件/park/words.txt
生成RDD -lines
-
执行命令:
val sparkLines = lines.filter(_.contains("spark"))
,过滤包含spark
的行生成RDD -sparkLines
-
执行命令:
sparkLines.collect()
,查看sparkLines
内容,可以采用遍历算子,分行输出内容 -
课堂练习
任务1、利用过滤算子输出[2000, 2500]之间的全部闰年
- 传统做法,利用循环结构嵌套选择结构来实现
采用过滤算子来实现
(三)扁平映射算子 - flatMap()
1、扁平映射算子功能
flatMap()算子与map()算子类似,但是每个传入给函数func的RDD元素会返回0到多个元素,最终会将返回的所有元素合并到一个RDD。
2、扁平映射算子案例
任务1、统计文件中单词个数
读取文件,生成RDD - rdd1,查看其内容和元素个数
对于rdd1
按空格拆分,做映射,生成新RDD - rdd2
对于rdd1
按空格拆分,做扁平映射,生成新RDD - rdd3
执行命令:rdd3.count()
,即可知单词个数
任务2、统计不规则二维列表元素个数
方法一、利用Scala来实现
- 利用列表的
flatten
函数
val mat = List(List(7, 8, 1, 5),
List(10, 4, 9),
List(7, 2, 8, 1, 4),
List(21, 4, 7, -4))
val arr = mat.flatten // 将二维列表扁平化成一维列表
println("元素个数:" + arr.size)
方法二、利用Spark RDD来实现
- 利用flatMap算子
val rdd1 = sc.makeRDD(List(List(7, 8, 1, 5),
List(10, 4, 9),
List(7, 2, 8, 1, 4),
List(21, 4, 7, -4)))
val rdd2 = rdd1.flatMap(x => x.toString.substring(5, x.toString.length - 1).split(", "))
println("元素个数:" + rdd2.count)
查看rdd2
的内容