目录
(2)在/usr/local/spark/mycode/AvgScore目录下新建simple.sbt,复制如下代码:
(3)在/usr/local/spark/mycode/AvgScore目录下执行如下命令打包程序:
(4)在/usr/local/spark/mycode/AvgScore 目录下执行如下命令提交程序:
(5)在/usr/local/spark/mycode/AvgScore/result 目录下即可得到结果文件。
编写独立应用程序实现求平均值问题
条件
每个输入文件表示班级学生某个学科的成绩,每行内容由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序求出所有学生的平均成绩,并输出到一个新文件中。下面是输入文件和输出文件的一个样例供参考。
Algorithm成绩的样例如下:
小明 | 92 |
小红 | 87 |
小新 | 82 |
小丽 | 90 |
Database成绩的样例如下:
小明 | 95 |
小红 | 81 |
小新 | 89 |
小丽 | 85 |
Python成绩的样例如下:
小明 | 83 |
小红 | 82 |
小新 | 94 |
小丽 | 91 |
平均成绩的样例如下:
小明 | 89.67 |
小红 | 83.67 |
小新 | 88.33 |
小丽 | 88.67 |
准备工作
1.进入到mycode目录,新建RemDup目录(没有mycode目录可以新建一个)
再进入到RemDup目录中去
2.新建datas目录,写入文件algorithm、database、python:
写入文件:
文件内容为:
↑这个内容很好看,但是很愚蠢,不知道的话这里错误会浪费几个小时(肯定不是我)
注意这里 algorithm、database 和 python 文件内容不能有多余的换行符或者空格!
所以内容复制粘贴以下内容 :
Algorithm