spark 使用RDD求出各部门薪水总额及最大薪水

最新推荐文章于 2024-03-31 22:34:35 发布
最新推荐文章于 2024-03-31 22:34:35 发布
阅读量1.9k 收藏 14
点赞数 2
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46767998/article/details/106051340
版权
这篇博客介绍了如何使用Spark的RDD API来计算员工薪资数据中的各部门薪水总额和最大薪资。通过读取emp.csv文件，进行数据处理和转换，利用reduceByKey()和groupByKey()函数实现计算。文章强调了Spark基于内存计算的优势，以提高效率。
摘要由CSDN通过智能技术生成

其目的在于对 Spark 有个初步的认识， 了解RDD 的用法。 Spark 与 Hadoop 最大的区别是 Spark 基于内存计算， 降低因 I/O 交互带来的计算效率损耗。spark在逻辑算法上优于Hadoop，但其他算法不一定。
emp.csv表内容如下：在这里插入图片描述

1.启动spark
在这里插入图片描述
出现下图为成功在这里插入图片描述
2.读取文件在这里插入图片描述3.分割表，用map()对文本进行分割，每行转换成列表形式，逗号为间隔在这里插入图片描述
collect算子执行整个计算（惰性计算，从这里才真正开始计算在这里插入图片描述
4.构造需要的数据（部门号，工资

最低0.47元/天 解锁文章
蜜桃零度
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark RDD案例（六）自定义排序
xiaohu21的博客
09-29 775
Spark RDD案例（六）自定义排序 1. 背景 在大数据日常开发中，数据提取，转换，存储等工作是日常主要内容 spark作为大数据处理分析引擎，底层主要是RDD抽象数据集，更上层的spark sql、dataset、dataframe、dstream等都是基于RDD来抽象的。 本文主要讲述关于数据提取中最常见的数据排序处理，使用RDD来实现。最主要的是自定义排序，这也是日常开发中最常见的排序需求，一般都需要自定义排序规则 2.案例代码 需求 将数据按照年龄降序，工资升序 数据 代码中手
Spark -- RDD简单操作【统计文本中单行最大单词数】
热门推荐
Appleyk的专栏
10-18 10万+
  一 、什么是RDD ？            RDD在Spark【Scala语言】中，是一种数据结构【基于内存，可持久化】，就好比Java的ArrayList一样，可以进行各种的Action操作，比如Java中的List集合，可以进行get【获取元素】、add【增加元素】、remove【移除元素】等操作；          当然，Scala语言底层实现是基于JVM的，即Scala兼容J...
spark系列(三)spark RDD编程/算子介绍
qq_38130094的博客
07-24 437
httpsTransformation算子含义map(func)通过函数func传递源的每个元素，返回一个新的分布式数据集，将RDD中的每个元素进行处理，一进一出filter(func)对RDD中每个元素进行判断，返回true则保留flatMap(func)与map类似，但是每个元素都可以返回一个或多个新元素(func)func(func)funcfuncsample(,fraction,seed)fractionunion()()distinct([]))groupByKey([(...
使用Spark编程之分组排序取前3名----java代码实现
weixin_41244495的博客
08-07 1192
package cn.spark.study.core; import java.util.Arrays; import java.util.Iterator; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.Jav...
一零一九、岗位数据分析（Spark）
08-01 1280
分析岗位数据如下要求分析不同学历的平均薪资（每个学历的平均估值（最高薪资平均值、最低薪资平均值求平均）分析不同岗位的平均薪资（求每个学历的平均估值（最高薪资平均值、最低薪资平均值求平均）分析各公司提供的岗位。......
2023-Spark-实验十三：Spark RDD 求员工工资总额
10-16
求员工工资总额样例数据
大数据实验报告Windows环境下安装Spark及RDD编程和Spark编程实现wordcount.doc
12-15
大数据实验报告 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 本实验报告主要介绍了在 Windows 环境下安装 Spark 及 RDD 编程和 Spark 编程实现 wordcount 的步骤和过程。实验中首先安装了 ...
Spark学习笔记之Spark中的RDD的具体使用
08-25
Spark学习笔记之Spark中的RDD的具体使用 本文主要介绍了Spark学习笔记之Spark中的RDD的具体使用，通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值。 知识点一：RDD的概念和特点 * RDD...
2023_Spark_实验十三：Spark RDD 求员工工资总额
pblh123的专栏
10-16 1224
Spark RDD，实现员工工资待遇排序。reduceByKey,sortByKey
spark分析员工数据
voiceboiling的博客
12-19 1479
2.根据下面的数据，使用Spark进行分析 员工数据 empno,ename,job,mgr,hiredate,sal,comm,deptno 7369,SMITH,CLERK,7902,1980-12-17,800,NULL,20 7499,ALLEN,SALESMAN,7698,1981-2-20,1600,300,30 7521,WARD,SALESMAN,7698,1981-2-22,12...
spark学习7.1：对RDD进行排序取前几
hzp666的博客
06-25 2794
原始数据： 两个文件 根据第三列，进行倒叙排序，取最大前5个 代码： import org.apache.spark.{SparkConf, SparkContext} object Top { def main(args: Array[String]): Unit = { //creat conf val conf = new SparkConf().setAppName("TopApplicationTest").setMaster("local") ...
RDD的创建与操作
象在舞的技术专栏
08-30 1310
一、RDD的创建         进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。         Spark Core提供了三种创建RDD的方式，包括：使用程序
Spark2.4.8 求员工工资总额
若兰幽竹
09-22 2842
Spark2.4.8 求员工工资总额一、测试数据二、任务要求三、编码实现四、实验要求 一、测试数据 员工信息表：下载地址 表字段说明： 二、任务要求 任务1：求每个部门的员工工资总额 任务2：求每个部门员工工资与奖金总额 任务3：将任务2中的结果按照部门号进行升序排 任务4：将任务2中的结果按照工资总额进行降序排 三、编码实现 创建maven工程 添加spark相关依赖，在pom.xml中添加如下依赖 <packaging>jar</packaging> &
Spark培训之计算员工薪资
Big data enthusiast
02-20 1964
方法一、Scala： val salaryRDD = sc.textFile("hdfs://192.168.1.171:9999/user/root/input/salaries/Salaries.csv").filter(!_.contains("Id"))def max(a: Double, b: Double): Double = {if (a > b) {return a  } else
Spark-Scala语言实战（9）
最新发布
qq_49513817的博客
03-31 1566
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的filter,distinct,intersection三种方法，并进行一代。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
Spark SQL 教程
u012501054的博客
12-25 4629
一、什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrames与DataSet的关系。   image.png 二、为什么要学习Spark SQL？ 我们已经学习了Hive，它是将Hive SQL转换成MapReduc...
Pyspark基础操作( rdd dataframe 创建 读取 利用）
BiuFEIMIR的博客
12-06 2439
Part1 Pyspark 1.读取数据 #enableHiveSupprot() 支持hive操作 #getOrCreate() 如果没有就创建，有就不用了 spark = SparkSession.builder.appName("appName").enableHiveSupport().getOrCreate() spark.sparkContext.pythonExec = spark.conf.get('spark.yarn.appMasterEnv.PYSPARK_PYTHON') pa
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值