RDD编程实验

1．给定数据集data1.txt，包含了某大学计算机系的成绩，数据格式如下所示：

Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ……

请根据给定的实验数据，在pyspark中通过编程来计算以下内容：
（1）该系总共有多少学生；
（2）该系共开设了多少门课程；
（3）Tom同学的总成绩平均分是多少；
（4）求每名同学的选修的课程门数；
（5）该系DataBase课程共有多少人选修；
（6）各门课程的平均分是多少；
（7）使用累加器计算共有多少人选了DataBase这门课。

from pyspark import SparkConf,SparkContext

conf = SparkConf().setMaster('local').setAppName("student")
sc = SparkContext(conf=conf)
print("\n\n************************")
print("(1)该系总共有多少学生\n")

student=sc.textFile("file:///usr/local/uploads/hbase/data1.txt")
##数据存放目录

result1=student.filter(lambda line:len(line.strip())>0)
result2=result1.map(lambda line:line.split(','))
##对数据进行清洗##


result3=result2.map(lambda x:(x[0]," "))
result4=result3.reduceByKey(lambda a,b:" ")
result5=result4.count()
print("该系统的学生数量为:{}".format(result5))


print("\n\n*************************")
print("(2)该系总共开设多少课程\n")

result3=result2.map(lambda x:(x[1]," "))
result4=result3.reduceByKey(lambda a,b:" ")
result5=result4.count()
print("该系统的课程数量为:{}".format(result5))


print("\n\n**************************")
print("(3)Tom同学的总成绩平均分为多少\n")

count=0
result3=result2.map(lambda x:(x[0],(float(x[2]),int(1))))
result4=result3.reduceByKey(lambda a,b:(a[0]+b[0],a[1]+b[1]))
list1=result4.mapValues(lambda x:(float(x[0])/float(x[1]))).collect()
dirt={}
for i in list1:
    dirt[i[0]]=i[1]
print("Tom的平均成绩为：{}".format(dirt["Tom"]))


print("\n\n***************************")
print("(4)每名同学的选修课程门数\n")

result3=result2.map(lambda x:(x[0],int(1)))
result4=result2.map(lambda x:(x[1],int(1)))
num=result3.reduceByKey(lambda a,b:a+b).count()
result6=result4.reduceByKey(lambda a,b:a+b)
print("课程选择情况如下：")
result6.foreach(print)
print('学生总人数：',end=" ")
print(num)
result8=result6.filter(lambda x:x[1]==num)
public_class_num=result8.count()
result5=result3.reduceByKey(lambda a,b:a+b)
result7=result5.map(lambda a:(a[0],a[1]-public_class_num))
print('公共课数量：',end=" ")
print(public_class_num)
print("每位同学的选秀课程门数如下：")
result7.foreach(print)


print("\n\n*****************************")
print("(5)该系DataBase课程总共有多少人选修\n")

result3=result2.map(lambda x : (x[1],int(1)))
result4=result3.reduceByKey(lambda a,b:a+b)
list1=result4.collect()
dirt={}
for i in list1:
    dirt[i[0]]=i[1]
print("选修DataBase的人数是：{}".format(dirt["DataBase"]))


print("\n\n*****************************")
print("(6)各门课程的平均分为多少\n")

count=0
result3=result2.map(lambda x:(x[1],(float(x[2]),int(1))))
result4=result3.reduceByKey(lambda a,b:(a[0]+b[0],a[1]+b[1]))
print("各门课程的平均分如下(保留三位小数)")
result4.mapValues(lambda x:round((float(x[0])/float(x[1])),3)).foreach(print)


print("\n\n*****************************")
print("(7)使用累加器计算共有多少人选修DataBase这门课\n")

def leijiaqi():
    global index
    index=index+1
    return index

result3=result2.map(lambda x : (x[1],x[2])).collect()
list1=result3
index=0
dirt={}
for i in list1:
    i=list(i)
    if i[0]=="DataBase" :
        endnum=leijiaqi()  
print("累加器最终结果为：{}\n表明选修DateBase的人数有{}".format(endnum,endnum))

2.编写独立应用程序实现数据去重
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件B的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

from pyspark import SparkConf,SparkContext
conf = SparkConf().setMaster('local').setAppName("demo1")
sc = SparkContext(conf=conf)
student=sc.textFile("file:home/master/mydemo/demo_01/*.txt")
result1=student.filter(lambda line:len(line.strip())>0)
lines=result1.distinct()
lines=lines.sortBy(lambda x:x)
lines.foreach(print)
lines.repartition(1).saveAsTextFile("file:home/master/mydemo/demo_01/C")

3.编写独立应用程序实现求平均值问题
每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。
Algorithm成绩：
小明 92
小红 87
小新 82
小丽 90
Database成绩：
小明 95
小红 81
小新 89
小丽 85
Python成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

from pyspark import SparkConf,SparkContext

conf = SparkConf().setMaster('local').setAppName("avg_score")
sc = SparkContext(conf=conf)


student = sc.textFile("file:home/master/mydemo/demo_02/*.txt")
result1=student.filter(lambda line:len(line.strip())>0)
result2 = result1.sortBy(lambda x:x).filter(bool)

result3 = result2.map(lambda x:x.split(" ")).map(lambda x:(x[0],(int(x[1]),1)))
result4 = result3.reduceByKey(lambda x,y:(x[0]+y[0],x[1]+y[1]))
avg = result4.map(lambda x:(x[0],round(x[1][0]/x[1][1],2)))
avg=avg.sortBy(lambda x:x[1],False)
avg.foreach(print)
avg.repartition(1).saveAsTextFile("file:home/master/mydemo/demo_02/avg")