一、提出任务
- 有多科成绩表，比如python.txt、spark.txt、django.txt，计算每个学生三科平均分
- Python成绩表 - python.txt
Django成绩表 -django.txt
Spark成绩表 -spark.txt
预备工作：启动集群的HDFS与Spark
在HDFS上新建/score目录
在master虚拟机上新建一个file文件，在file创建三个成绩文件
这篇博客介绍了如何使用Spark SQL计算多个成绩文件中每个学生的平均分。首先提出了任务，要求计算python.txt、spark.txt、django.txt三个成绩表的平均分。接着详细讲解了完成任务的步骤，包括新建Maven项目、添加依赖、创建日志文件、编写计算平均分的代码，并在本地运行查看结果。最后，给出了课后练习，包括按平均分降序排列和使用Spark RDD计算平均分的实践题目。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
