RDD编程初级实践

mchme

于 2021-06-07 01:22:00 发布

阅读量311

点赞数

文章标签： python spark 大数据 hadoop

本文链接：https://blog.csdn.net/mchme/article/details/117638964

版权

该博客介绍了Spark RDD的初步实践，包括在pyspark环境中进行交互式编程，如计算学生人数、课程数量、平均分等；并展示了如何编写独立应用程序实现数据去重和求平均分的问题，利用累加器功能统计特定课程的人数。

摘要由CSDN通过智能技术生成

RDD编程初级实践

RDD编程初级实践

RDD编程初级实践

实验目的

（1）熟悉Spark的RDD基本操作及键值对操作；
（2）熟悉使用RDD编程解决实际具体问题的方法。

实验平台

操作系统：Ubuntu16.04
Spark版本：2.4.8
Hadoop版本：3.3.0
Python版本：3.5.1

实验内容

pyspark交互式编程

本作业提供分析数据data.txt，该数据集包含了某大学计算机系的成绩。
数据格式如下所示：

Tom,DataBase,80
Tom,Algorithm,50
Tom,DataStructure,60
Jim,DataBase,90
Jim,Algorithm,60
Jim,DataStructure,80
......

请根据给定的实验数据，在pyspark中通过编程来计算以下内容：

该系总共有多少学生?

代码：

lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//获取每行数据第一列
res = lines.map(lambda x:x.split(",")).map(lambda x: x[0])
//去重
distinct_res = res.distinct()
//统计
distinct_res.count()

该系总共有多少学生?
该系总共有265名学生。

该系共开设了多少门课程?

代码：

lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//获取每行数据的第2列
res = lines.map(lambda x:x.split(",")).map(lambda x:x[1])
//去重操作
distinct_res = res.distinct()
//取元素总个数
distinct_res.count()

该系共开设了多少门课程?
该系共开设了8门课程。

Tom同学的总成绩平均分是多少?

lines = sc.textFile("file:///usr/local/spark/data/data.txt")
//筛选Tom同学的成绩信息
res = lines.map(lambda x:x.split(",")).filter(lambda x:x[0]=="Tom")
//提取Tom同学的每门成绩，并转换为int类型
score = res.map(lambda x:int(x[2]</