大数据实时处理3.8 Spark RDD典型案例

一、利用RDD计算总分与平均分

（一）提出任务

• 针对成绩表，计算每个学生总分和平均分

 （二）实现思路
读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。
（三）准备工作
1、启动HDFS服务
执行命令：start-dfs.sh

2、启动Spark服务

• 进入Spark的sbin目录执行命令：./start-all.sh

3、在本地创建成绩文件

• 在/home里创建scores.txt文件

 

 

4、将成绩文件上传到HDFS

• 在HDFS上创建/scoresumavg/input目录，将成绩文件上传至该目录

 

（四）完成任务

1、在Spark Shell里完成任务

（1）读取成绩文件，生成RDD

• 执行命令：val lines = sc.textFile("hdfs://master:9000/scoresumavg/input/scores.txt")

 

 

（2）定义二元组成绩列表

• 执行命令：import scala.collection.mutable.ListBuffer
• 执行命令：val scores = new ListBuffer[(String, Int)]()

 

（3）利用RDD填充二元组成绩列表  

 

• 执行上述代码 

 

（4）基于二元组成绩列表创建RDD

• 执行命令：val rdd = sc.makeRDD(scores);

 

 

（5）对rdd按键归约得到rdd1，计算总分 

• 执行命令：val rdd1 = rdd.reduceByKey(_ + _)

 

 

（6）将rdd1映射成rdd2，计算总分与平均分

• 执行命令：val rdd2 = rdd1.map(score => (score._1, score._2, (score._2 / 3.0).formatted("%.2f")))

 

2、在IntelliJ IDEA里完成任务

（1）打开RDD项目

• SparkRDDDemo

 

（2）创建计算总分平均分对象

• 在net.lym.rdd包里创建day07子包，然后在子包里创建CalculateSumAvg对

 

 

二、利用RDD统计每日新增用户

（一）提出任务

• 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名。

 

• 现需要根据上述数据统计每日新增的用户数量，期望统计结果。