利用pyspark练习sparkRDD算子的操作练习实验

最新推荐文章于 2024-03-15 15:35:18 发布
最新推荐文章于 2024-03-15 15:35:18 发布
阅读量2.3k 收藏 25
点赞数 2
文章标签： python spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47844519/article/details/124540292
版权
该实验旨在通过Pyspark操作RDD，实现包括读取文件、过滤条件、计算平均分和最高分等任务，以掌握RDD算子的基本应用。实验涉及student.txt数据，包含6列信息，内容涵盖学生的基本信息和各科成绩。
摘要由CSDN通过智能技术生成

实验名称

RDD算子的操作实验

实验目的

掌握RDD算子的基本用法

实验资源

  • student.txt

实验环境

  • VMware Workstation
  • Ubuntu 16.04
  • Jupyter Notebook
  • Pyspark

实验内容

student.txt中的数据一共分为6列，每一列含义如下表所示：

班级号 姓名 年龄 性别 课程 分数

在这里插入图片描述

练习题目：
(1) 读入studnet.txt文档，生成RDD

(2) 获得年龄大于20的学生

(3) 获得性别为男的学生

(4) 获得班级号为10的学生

(5) 获得语文课的平均分

(6) 获得每个学生的平均成绩

(7) 获得每个科目的最高分

实验步骤

1、读入student.txt文档，生成RDD

rdd = sc.textFile("/home/test/student.txt")
rdd2 = rdd.map(lambda x : x.split(" "))

2、获得年龄大于20的学生

rd
最低0.47元/天 解锁文章
墨风 倾城
关注
Python学习之PySpark案例实战
keyoukewude的博客
04-21 1354
RDD,自动按照key分组,然后根据你提供的聚合逻辑,完成****组内数据[value)****的聚合操作.注意: reduceByKey中接收的函数 只负责聚合,不理会分组，分组是自动 by key来分组的。****数据计算的方法,返回值依旧是RDD(RDD迭代计算)后续对数据进行各类计算，****功能:将RDD各个分区内的数据,统一收集到Driver中,形成一个List对象。(img-RuBR7tTj-1713660936324)]PySpark的数据计算，都是基于RDD对象来进行的那么如何进行呢?
pyspark代码练习5 —— percentiles
Lestat.Z.的博客
09-08 509
import pandas as pd df_pd = pd.DataFrame( data = {'bools':[0,1,0], 'floats': [-1.0,0.5,2.7], 'doubles': [21.05, 458738453.34, 9089787.7] 'integers':[1,34,89]} ) df = spark.createDataFrame(df_pd...
pyspark_RDD练习
Elvis__c的博客
03-09 1121
RDD编程练习熟悉一些算子的常规用法，多加练习求平均数求众数求TopN排序并返回序号二次排序连接操作分组求众数 熟悉一些算子的常规用法，多加练习 求平均数 #任务：求data的平均值 data = [1,5,7,10,23,20,6,5,10,7,10] rdd_data = sc.parallelize(data) s = rdd_data.reduce(lambda x,y:x+y+0.0) n = rdd_data.count() avg = s/n print("average:",avg)
（三）PySpark3：SparkSQL40题
最新发布
weixin_44458771的博客
03-15 1302
SQL笔试经典40题，使用PySpark SQL代码实现。
pyspark 代码练习1
Lestat.Z.的博客
09-07 582
记录下最近写过的pyspark代码，如下： edaStats = namedtuple('edaStats', 'is_numeric, n_unique, n_missing, _min, _25, _50, _75, _max, n_unique, n_freq, mean ') def eda_stats(dataframe, field_name, field_type): is_...
Pyspark之rdd小练习
weixin_44011994的博客
03-13 1364
pyspark的rdd小练习
pyspark练习（学习笔记）
m0_48830183的博客
12-10 659
import findspark findspark.init() from pyspark import SparkConf,SparkContext if name == ‘main’: conf = SparkConf() conf.setMaster(‘local’) conf.setAppName(‘test’) sc = SparkContext() lines = sc.textFile(’./worldcount.txt’) words = lines.flatMap(lambda line
pyspark的transformation和action练习001
m0_37442062的博客
02-25 291
import findspark findspark.init() import pyspark sc = pyspark.SparkContext(appName='rdd_excercise_1') # Use Cases # 1.创建一个RDD # 2.找出所有正常记录，正常记录以"SB"开头，交易值>0 # 3.找出所有记录大于1000的记录 # 4.找出所有不正常记录 # 5....
pyspark的transformation和action练习002
m0_37442062的博客
02-25 214
import findspark findspark.init() import pyspark sc = pyspark.SparkContext(appName='rdd_excercise_2') from decimal import Decimal acTransList =sc.parallelize([("SB10001",1000),("SB10002",1200),("SB1...
实验十五 Spark实验：RDD综合实验
WistWill的博客
04-13 4150
实验指导： 15.1 实验目的 1． 通过Spark-shell的操作理解RDD操作； 2． 能通过RDD操作的执行理解RDD的原理； 3． 对Scala能有一定的认识。 15.2 实验要求 在实验结束时能完成max，first，distinct，foreach等api的操作。 15.3 实验原理 RDD(Resilient Distributed Datasets，弹性分布式数据...
PySpark_Test:测试项目以练习pyspark
03-26
PySpark_Test:测试项目以练习pyspark
python基础练习(100题)
03-22
能做出这100道题的同学，基础非常过关！字符串，字符串相关函数表，字典，字典相关运算
PySpark | RDD持久化 | 共享变量 | Spark内核调度
liujiesxs的博客
06-26 1306
RDD持久化、共享变量、Spark任务调度
大数据spark常用算子用法总结（个人学习笔记）
yuekangwei的博客
02-22 2482
楼主目前在百度实习，刚学spark时困难重重，幸亏在百度实习的导师的帮助，年前学会了spark，并跑了几个程序，现在将学习过程中整理的spark算子代码用法给整理出来。 #coding=utf-8 #!/usr/bin/python # from pyspark.sql import SQLContext, Row #导入pyspark模块 from pysp...
Spark（RDD概念、Action、Transformation、练习题）
qq_42005540的博客
05-07 917
Spark（RDDS概念、Action、Transformation、练习题）一、RDD概念：(1) 弹性分布式数据集（RDD）(2) RDD两种操作的简单介绍二、RDD练习题： 一、RDD概念： (1) 弹性分布式数据集（RDD） 1.1 Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法：在你的驱动程序中并行化一个已经存在的集合；从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储，分布式存储在最大的好处是可以让数据在不同工作节点并行存
RDD编程初级实践
BUY_SNOy的博客
06-04 440
RDD编程初级实践实验目的实验平台实验内容与要求一、pyspark交互式编程本次实验提供数据chapter4-data.txt,该数据集包含了某大学计算机系的成绩，数据如下所示：根据给定的实验数据，在pyspark中通过编程来计算以下内容：（1）该系总共有多少学生；（2）该系共开设了多少门课程；（3）Tom同学的总成绩、平均分是多少；（4）求每名同学的选修的课程门数；（5）该系DataBase课程共有多少人选修；（6）各门课程的平均分是多少；（7）使用累加器计算共有多少人选了DataBase这门课。插入链接
spark练习例子——单词计数——pyspark
Firewine 的博客
05-06 680
简单明了，无难度，需要适应新版本改变。
PySpark实战（四）——一个Spark程序（py编写，圆周率Pi的计算）
Stack It Up
03-21 837
Spark程序_圆周率PI的计算
基于Pyspark的RDD初级编程实践
MidnightFancy的博客
06-07 1360
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值