使用spark core获取每个学科的平均分

最新推荐文章于 2023-06-06 12:17:11 发布

随心随性随缘随你

最新推荐文章于 2023-06-06 12:17:11 发布

阅读量1.1k

点赞数 1

分类专栏： Spark案例文章标签： spark

本文链接：https://blog.csdn.net/csdn_944/article/details/108099337

版权

本文通过Spark Core处理数据，展示如何计算不同学科的平均分数。数据包括学生姓名、学科和分数，经过处理后得出各科的平均成绩。

摘要由CSDN通过智能技术生成

使用spark core获取每个学科的平均分

//数据信息

zhangsan math 88

zhangsan china 78

zhangsan english 80

lisi math 99

lisi china 89

lisi english 82

wangwu math 66

wangwu china 96

wangwu english 84

zhaoliu math 77

zhaoliu china 67

zhaoliu english 86.55

def main(args: Array[String]): Unit = {
    //初始化上下文环境
    val conf = new SparkConf().setMaster("local").setAppName("avg")
    val sc = new SparkContext(conf)
    //读入文件
    //求每个学科平均分的逻辑
    val lineRdd = sc.textFile("C:\\Users\\944\\Desktop\\spark\\avg.txt&#