Spark RDD编程初级实践--头歌

Spark RDD编程初级的实践代码，遇到问题写不下去的同学不妨来看看，重新打开自己的思路！

希望这篇文章可以帮助你理解Spark RDD的初级应用。

    任务描述
    相关知识
        RDD的创建
        RDD的转换操作
        RDD的行动操作
        计算图书平均销量的示例
    测试说明

任务描述
本关任务：编写Spark独立应用程序实现数据去重。
本关任务：编写Spark独立应用程序实现整合排序。
本关任务：编写Spark独立应用程序实现求平均值。

相关知识
为了完成本关任务，你需要掌握：RDD的创建；RDD的转换操作；RDD的行动操作。

写在前面

        对于RDD而言，每一次转换操作都会产生新的RDD，供给下一个操作使用。RDD的转换过程是惰性求值的，也就是说，整个转换过程只是记录了转换的轨迹，并不会发生真正的计算，只有遇到行动操作时，才会触发真正的计算。

第1关：数据去重 

        对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并、剔除其中重复的内容并排序，得到一个新文件C。

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.HashPartitioner

object RemDup {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("RemDup").setMaster("local")
    val sc = new SparkContext(conf)

    //输入文件fileA.txt和fileB.txt已保存在本地文件系统/root/step1_files目录中
    val dataFile = "file:///r