【大数据存储】spark-编程

实验8-spark编程

实验：编写Spark应用程序（掌握Spark应用程序的编写、编译打包和运行方法）

1、对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的样例。

输入文件：

输出文件：

1.编写文本文件

1. 编写Scala应用程序代码
2. 

1. 用sbt打包Scala应用程序

Jar包

4.通过spark-submit运行程序

2、每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的样例。

输入文件：

输出文件：

1.编写文本文件

1. 编写Scala应用程序代码

1. 用sbt打包Scala应用程序

Jar包

4.通过spark-submit运行程序

遇到的问题和心得体会：

1.用sbt打包Scala应用程序需要删除原来的sbt,否则是两个sbt打包，不会产生我们想要的jar包

1. 写语句要注重格式x=>得换行并且下一个val后退了两格，否则会发生报错