m0_59298773的博客

原创 RDD编程初级实践

需求描述本次实验需要熟悉Spark的RDD基本操作及键值对操作、熟悉使用RDD编程解决实际具体问题的方法。根据如下①②③需求完成实验。①分析某大学计算机系的成绩的数据，在pyspark中通过编程来计算该系总共有多少学生、该系共开设了多少门课程、某同学的总成绩平均数、每名同学的选修的课程门数、该系某课程共有多少人选修、各门课程的平均分是多少以及使用累加器计算共有多少人选了DataBase这门课。②对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到...