使用Scala语言编写Spark应用程序实现数据去重

一、题目需求

使用Scala语言编写Spark应用程序实现数据去重（需要使用编译打包工具Maven或sbt进行编译打包）。
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。
输入文件A的样例如下：
20180901 x
20180902 y
20180903 x
20180904 y
20180905 z
20180906 z
输入文件B的样例如下：
20180901 y
20180902 y
20180903 x
20180904 z
20180905 y
根据输入的文件A和B合并得到的输出文件C的样例如下：
20180901 x
20180901 y
20180902 y
20180903 x
20180904 y
20180904 z
20180905 y
20180905 z
20180906 z

二、建立目录结构

• 可以在根目录文件夹下以此创建目录及文件，形成最后的目录树
  

  （一）创建 sparkapp4 文件夹并切换

  mkdir sparkapp4 
  

  cd ~/sparkapp4
  

  （二）创建 data 文件夹（存放A.txt B.txt）

  mkdir data
  

  将题目要求去重的两个文本文件放到data文件夹下

  vim data/A.txt
  

  vim data/B.txt
  

  （三）创建 /src/main/scala 文件夹用来存放代码

  mkdir -p src/main/scala
  

  （四）编写代码

  vim src/main/scala/De_duplication.scala
  

  import