Spark求平均值

最新推荐文章于 2023-07-07 16:54:19 发布
最新推荐文章于 2023-07-07 16:54:19 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： spark  文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39674417/article/details/111359566
版权
本文介绍了使用Spark计算平均值的三种方法：groupByKey、combineByKey和reduceByKey。分别讨论了它们的可读性、线程安全性和推荐使用情况。最后提到了通过Spark SQL进行聚合操作的选项。
摘要由CSDN通过智能技术生成

        //求平均 方法一： groupByKey
        textFile.mapToPair(line -> new Tuple2<>(line.split(" ")[0], Integer.parseInt(line.split(" ")[1])))
                .groupByKey()
                .mapToPair(info -> {
                    double sum = 0;
                    double count = 0;
                    Iterator<Integer> it = info._2().iterator();
                    while (it.hasNext()) {
                        sum += it.next();
                        count++;
                    }
                    double ave = sum / count;
                    return new Tuple2<>(info._1(), ave);
                })
                .collect()
                .forEach(System.out::println);

//求平均 方法二： combineByKey
        textFile.mapToPair(line -> new Tuple2<>(line.split(" ")[0], Int

最低0.47元/天 解锁文章
青龙悟空
关注
专栏目录
spark scala 求整列的平均值
Talk Is Cheap
04-29 1093
import org.apache.spark.sql.functions.mean val avgScore: Double = dataframe.withColumn("avg_score_column", mean("score_column")) .rdd.map(row => (row.getAs[Double]("avg_score"))).collect().apply(0)
Spark SQL 之自定义函数UDAF,实现求平均值和几何平均数
m0_48111425的博客
08-21 1361
使用自定义函数UDAF实现求平均值(avg)的需求 数据如下: name,salary,dept laoduan,500000,teacher xiaolin,20000,student laozhao,40000,teacher xiaolei,19000,student xiaona,21000,waiter 方式一: 使用老的(过时的)API ,需要先创建一个类,继承自UserDefinedAggregateFunction,并实现其8个方法 import org.apache....
Spark计算均值
Syn良子的博客
08-31 5820
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 用spark来快速计算分组的平均值，写法很便捷，话不多说上代码 object ColumnValueAvg extends App { /** * ID,Name,ADDRESS,AGE * 001,zhangsan,chaoyang,20 * 002,zhangsa
Spark求平均值的三种方法
热门推荐
gx304419380的博客
03-06 2万+
方法一： 利用groupByKey //求平均 方法一： groupByKey textFile.mapToPair(line -&gt; new Tuple2&lt;&gt;(line.split(" ")[0], Integer.parseInt(line.split(" ")[1]))) .groupByKey() ...
spark 求平均值
超电磁手炮的博客
01-15 1366
val rdd=sc.makeRDD(List(("a",1),("a",2),("a",3),("b",1),("b",2),("b",3),("b",4),("a",4)),2) combineByKey rdd.combineByKey( x=>(x, 1), (x: (Int, Int), y: Int) => (x._1 + y, x._2 + 1), (x: (Int, Int), y: (Int, Int)) => (x._1 + y.
Spark基础之求平均数
m0_57320261的博客
11-13 2043
1、引入文件 var avgAdd=sc.textFile("hdfs:///user/yanyufei/spark/hello2") 2、输出文件内容 avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),lineArr(1))}).foreach(println) 3、赋1操作 avgAdd.map(item=>{var lineArr=item.split("\t");(lineArr(0),lineArr(1
java spark 求平均值,Spark DataFrame：计算按行均值（或任何聚合操作）
weixin_39640767的博客
02-26 1291
I have a Spark DataFrame loaded up in memory, and I want to take the mean (or any aggregate operation) over the columns. How would I do that? (In numpy, this is known as taking an operation over axis=...
新手向，从用Spark求平均值到reduceByKey详解
Tai_Park
02-27 3243
1.前因后果 在网上看到了一种用Spark求平均值的算法，自己写了下，修改了一些错误，我这是能直接run起来的版本。我会在本文中对这段代码进行详细的讲解，以加强对reduceByKey用法的印象。耐心看完，保证你对reduceByKey算子理解且不会忘了。 首先把这位老哥测试的原始数据给大家： FFF 578 GGG 839 EEE 566 AAA 815 AAA 334 FFF 268...
spark求平均值的方法
最新发布
05-17
在Spark中，求平均值可以使用reduce()和count()函数来实现。具体步骤如下： 1. 将数据集中的每个元素都映射为一个数值。 2. 使用reduce()函数将这些数值相加。 3. 使用count()函数计算数据集中的元素个数。 4. ...
Spark经典案例之求平均值,最大最小值,求top值,非结构数据处理,统计每天新增用户数
qq_39674417的博客
12-29 1533
1、需求分析 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。 要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。 2、原始数据 1）math： 张三,88 李四,99 王五,66 赵六,77 2）china： 张三,78 李四,89 王五,96 赵六,67 3）english： 张三,80 李四,82 王五,84 赵六,86 样本输出： 张三,82 李四,90 王五,82 赵六,76
spark计算平均值
weixin_30635053的博客
08-11 610
对于 Array(('a',1), ('a',2), ('b',3), ('a',4), ('a',15))如何计算平均值呢：原来通过计算两边，第一遍计算总次数 val a = sc.parallelize(data).map(x=>1)val b = sc.parallelize(data).map(x=>x._2)val count = a.reduce(_+_)val val...
Spark经典案例之求平均值
zhangMY12138的博客
03-15 3677
1、需求分析 对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。 要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。 2、原始数据 1）math： 张三,88 李四,99 王五,66 赵六,77 2）china： 张三,78 李四,89 王五,96 赵六,67 3）english...
Spark—Shell命令对WordCount案例的基本操作（统计、去重、排序、求平均值及join）
piaow_的博客
07-07 1279
Spark 通过shell脚本，以命令行的方式对用户所有商品数据实现基本操作
Spark入门（十三）之分组求平均值
茅坤宝骏氹的博客
07-08 1498
一、分组求值 计算文本里面的每个key分组求值，输出结果。 二、maven设置 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0..
spark更加高效的求平均数
wxdoop的博客
12-24 248
今天看书看到了mapPartitions,体会了一下分区操作。 package com.cnnc.sparkLearning import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object test { def main(args: Array[String]): Unit =...
java spark 求平均值_Spark求平均值的三种方法
weixin_42170064的博客
02-26 1206
方法一：利用groupByKey//求平均 方法一： groupByKeytextFile.mapToPair(line -> new Tuple2<>(line.split(" ")[0], Integer.parseInt(line.split(" ")[1]))).groupByKey().mapToPair(info -> {double sum = 0;doubl...
大数据入门之Spark快速入门及导入数据，求平均值
weixin_34342578的博客
01-09 488
运行环境 本文的具体运行环境如下： CentOS 7.6 Spark 2.4 Hadoop 2.6.0 Java JDK 1.8 Scala 2.10.5 一、下载安装 首先在官网 https://spark.apache.org/downloads.html 下载对应版本的Spark 丢到你的服务器上 自己的路径 比如/user/hadoop/My_Spark ...
Spark RDD计算总分与平均分
梁辰兴的博客
06-06 2341
针对成绩表，计算每个学生总分和平均分读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。执行命令：start-dfs.sh 执行命令：start-all.sh 在/home里创建scores.txt文件 在HDFS上创建/scores/input目录，将成绩文件上传至该目录 执行命令： 执行命令： 执行命令： 执行上述代码 执行命令： 执行命令： 执行命令：S
java spark 求平均值_Spark经典案例之求平均值
weixin_39620001的博客
02-26 883
1、需求分析对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。2、原始数据1)math：张三,88李四,99王五,66赵六,772)china：张三,78李四,89王五,96赵六,673)english：张三,80李四,82王五,84赵...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值