Spark实现WordCount

首先，编写第一个Spark应用程序 ，我们是如何建立起来的，其入口在哪里呢，需要创建两个对象。

 一：val conf = new SparkConf()

                            .setAppName("WordCount")

                            .setMaster("local")

    创建SparkConf对象，设置Spark应用的配置信息。setAppName() 设置Spark应用程序在运行中的名字；如果是集群运行，就可以在监控页面直观看到我们运行的job任务。setMaster() 设置运行模式、是本地运行，设置为local即可；如果是集群运行，就可以设置程序要连接的Spark集群的master节点的url。

二：val sc = new SparkContext(conf)

创建SparkContext对象， 在Spark中，SparkContext是Spark所有功能的一个入口，你无论是用java、scala，甚至是python编写，都必须要有一个SparkContext，它的主要作用，包括初始化Spark应用程序所需的一些核心组件，包括调度器（DAGSchedule、TaskScheduler），还会去Spark Master节点上进行注册等。所以SparkContext在Spark应用中是很重要的一个对象。

 

现在假设我们HDFS上有一个数据文件data.txt文件，需要对其进行WordCount统计计算

第A步：val lines = sc.textFile("hdfs://") ，主要功能是加