RDD编程初级实践

本文通过实例介绍了如何使用PySpark进行交互式编程,包括计算学生总数、课程数量、平均分、课程选修人数、课程平均分以及使用累加器计算特定课程选修人数。此外,还展示了编写独立Spark应用程序实现数据去重和求平均值问题的解决方案。
摘要由CSDN通过智能技术生成

pyspark交互式编程

  1. 问题需求:提供分析数据data.txt,该数据集包含了某大学计算机系的成绩,数据格式如下所示:
    Tom,DataBase,80
    Tom,Algorithm,50
    Tom,DataStructure,60
    Jim,DataBase,90
    Jim,Algorithm,60
    Jim,DataStructure,80
    ……

  2. 在操作系统:Ubuntu16.04,Spark版本:2.1.0,Python版本:3.5.2。把数据data.txt放入/usr/local/spark目录下,生成RDD,打印数据内容
    在这里插入图片描述
    数据内容

  3. 该系总共有多少学生,生成RDD,求总数在这里插入图片描述

  4. 该系共开设了多少门课程,生成RDD,拆分记录获取课程信息,去除课程中的重复信息

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值