零、本节学习目标
- 利用RDD计算总分与平均分
- 利用RDD统计每日新增用户
- 利用RDD实现分组排行榜
一、利用RDD计算总分与平均分
(一)提出任务
- 针对成绩表,计算每个学生总分和平均分
-
3、在本地创建成绩文件
- 在
/home
里创建scores.txt
文件 -
4、将成绩文件上传到HDFS
- 在HDFS上创建
/scoresumavg/input
目录,将成绩文件上传至该目录\
(三)实现步骤
1、打开RDD项目
SparkRDDDemo
查看HDFS的结果文件
准备工作
1、在本地创建用户文件
- 在
/home
目录里创建users.txt
文件
2、将用户文件上传到HDFS指定位置
- 先创建
/newusers/input
目录,再将用户文件上传到该目录
完成任务
1、在Spark Shell里完成任务
- 执行命令:
val rdd1 = sc.textFile("hdfs://master:9000/newusers/input/users.txt")
(2)倒排,互换RDD中元组的元素顺序
val rdd2 = rdd1.map(
line => {
val fields = line.split(",")
(fields(1), fields(0))
}
)
rdd2.collect.foreach(println)
1
2
3
4
5
6
7
执行上述语句
取分组后的日期集合最小值,计数为1
- 执行命令:
val rdd4 = rdd3.map(line => (line._2.min, 1))
(3)倒排后的RDD按键分组
- 执行命令:
val rdd3 = rdd2.groupByKey()
(4)取分组后的日期集合最小值,计数为1
- 执行命令:
val rdd4 = rdd3.map(line => (line._2.min, 1))
(5)按键计数,得到每日新增用户数
- 执行命令:
val result = rdd4.countByKey()
让输出结果按日期升序
- 映射不能直接排序,只能让键集转成列表之后先排序,再遍历键集输出映射
- 执行命令:
val keys = result.keys.toList.sorted
,让键集升序排列
2、在IntelliJ IDEA里完成任务
SparkRDDDemo
(3)运行程序,查看结果
- 运行程序
CountNewUsers
,控制台结果
三、利用RDD实现分组排行榜
(一)提出任务
分组求TopN是大数据领域常见的需求,主要是根据数据的某一列进行分组,然后将分组后的每一组数据按照指定的列进行排序,最后取每一组的前N行数据。
有一组学生成绩数据
张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
同一个学生有多门成绩,现需要计算每个学生分数最高的前3个成绩,期望输出结果如下所示
张三丰:94 90 87
李孟达:88 85 82
王晓云:98 97 93
1
2
3
(二)实现思路
使用Spark RDD的groupByKey()算子可以对(key, value)形式的RDD按照key进行分组,key相同的元素的value将聚合到一起,形成(key, value-list),将value-list中的元素降序排列取前N个即可。
(三)准备工作
1、在本地创建成绩文件
在/home目录里创建grades.txt文件
2、将成绩文件上传到HDFS上指定目录
- 将
grades.txt
上传到HDFS的/topn/input
目录
(四)完成任务
1、在Spark Shell里完成任务
- 执行命令:
val lines = sc.textFile("hdfs://master:9000/topn/input/grades.txt")
(2)利用映射算子生成二元组构成的RDD
2、在IntelliJ IDEA里完成任务
SparkRDDDemo
(3)运行程序,查看结果
- 在控制台查看输出结果