编写独立应用程序实现求平均值问题

目录

编写独立应用程序实现求平均值问题 

条件 

Algorithm成绩的样例如下:

 Database成绩的样例如下:

 Python成绩的样例如下:

 平均成绩的样例如下:

准备工作 

题目

(1)假设当前目录为/usr/local/spark/mycode/AvgScore,在当前目录下新建一个目录src/main/scala,然后在目 录/usr/local/spark/mycode/AvgScore/src/main/scala 下新建一个AvgScore.scala。复制如下代码:

 (2)在/usr/local/spark/mycode/AvgScore目录下新建simple.sbt,复制如下代码:

 (3)在/usr/local/spark/mycode/AvgScore目录下执行如下命令打包程序:

(4)在/usr/local/spark/mycode/AvgScore 目录下执行如下命令提交程序:  

(5)在/usr/local/spark/mycode/AvgScore/result 目录下即可得到结果文件。

补充:


编写独立应用程序实现求平均值问题 

条件 

        每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的一个样例供参考。

Algorithm成绩的样例如下:

小明 92
小红 87
小新 82
小丽 90

 Database成绩的样例如下:

小明 95
小红 81
小新 89
小丽 85

 Python成绩的样例如下:

小明 83
小红 82
小新 94
小丽 91

 平均成绩的样例如下:

小明 89.67
小红 83.67
小新 88.33
小丽 88.67

准备工作 

1.进入到mycode目录,新建RemDup目录(没有mycode目录可以新建一个) 

再进入到RemDup目录中去

2.新建datas目录,写入文件algorithm、database、python:

 写入文件:

文件内容为:

↑这个内容很好看,但是很愚蠢,不知道的话这里错误会浪费几个小时(肯定不是我)

注意这里 algorithm、database 和 python 文件内容不能有多余的换行符或者空格!

所以内容复制粘贴以下内容 :

Algorithm


                
  • 5
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
实现求文本数据各种类型的平均值可以分为以下几个步骤: 1. 读取文本数据并转换成RDD 2. 对每一行数据进行切分,提取出需要求平均值的字段 3. 将每个字段的值转换成对应的数据类型 4. 对同一类型的数据进行求和,并统计数量 5. 计算每种类型的平均值 下面是一个基于Spark独立应用程序的示例代码: ```scala import org.apache.spark.{SparkConf, SparkContext} object TextDataAverage { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("TextDataAverage") val sc = new SparkContext(conf) // 读取文本数据并转换成RDD val data = sc.textFile("textdata.txt") // 对每一行数据进行切分,提取出需要求平均值的字段 val fields = data.map(line => line.split(",")) // 将每个字段的值转换成对应的数据类型 val intFields = fields.map(field => field(0).toInt) val doubleFields = fields.map(field => field(1).toDouble) // 对同一类型的数据进行求和,并统计数量 val intSumCount = intFields.aggregate((0, 0))( (acc, value) => (acc._1 + value, acc._2 + 1), (acc1, acc2) => (acc1._1 + acc2._1, acc1._2 + acc2._2) ) val doubleSumCount = doubleFields.aggregate((0.0, 0))( (acc, value) => (acc._1 + value, acc._2 + 1), (acc1, acc2) => (acc1._1 + acc2._1, acc1._2 + acc2._2) ) // 计算每种类型的平均值 val intAvg = intSumCount._1.toDouble / intSumCount._2 val doubleAvg = doubleSumCount._1 / doubleSumCount._2 // 输出结果 println(s"Int average: $intAvg") println(s"Double average: $doubleAvg") sc.stop() } } ``` 其中,`textdata.txt` 是包含文本数据的文件,每行数据格式为 `int,double,text`,例如: ``` 1,1.1,foo 2,2.2,bar 3,3.3,baz ``` 这个示例中,我们假设需要求 `int` 和 `double` 两种类型数据的平均值。首先我们读取数据并转换成RDD,然后对每一行数据进行切分,提取出 `int` 和 `double` 字段。接着将每个字段的值转换成对应的数据类型。最后,对同一类型的数据进行求和,并统计数量,计算平均值。最终输出结果。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值