使用Scala编写Map Reduce的模板

 def main(args: Array[String]): Unit = {


    //1.配置 spark 任务相关信息
    val sparkConf = new SparkConf();

    //配置任务名字
    sparkConf.setAppName("word count")

    //配置运行模式：本地模式
    sparkConf.setMaster("local[*]")

    //2.运行 spark 程序的上下文环境
    val sc = new SparkContext(sparkConf)

    //配置 hdfs 集群位置
    sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://ns1")
    sc.hadoopConfiguration.set("dfs.nameservices", "ns1")
    sc.hadoopConfiguration.set("dfs.ha.namenodes.ns1", "nn1,nn2")
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.ns1.nn1", "master:9000")
    sc.hadoopConfiguration.set("dfs.namenode.rpc-address.ns1.nn2", "slave1:9000")
    sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.ns1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")


//    //读取文件内容，以行为单位放入 doc 集合
//    val doc =