一 eclipse Spark 本地开发调试环境

一 配置JDK8

1. 详细参考：
   http://jingyan.baidu.com/article/ab69b270c01a4d2ca7189f8c.html

二 配置Maven

1. 安装maven
   http://jingyan.baidu.com/article/d8072ac45d3660ec94cefd51.html
2. Maven在Eclipse中的配置
   http://jingyan.baidu.com/article/db55b609a994114ba20a2f56.html

三 配置Hadoop

1. 不需要实际安装Hadoop，下载插件包即可。
   windows64位平台的hadoop2.6插件包
2. 解压包到目标文件夹，目标文件夹即Hadoop Home.

四 新建Maven工程

1. 新建一个maven工程
   http://jingyan.baidu.com/article/375c8e19b5014c25f2a22912.html
2. 引入Spark 包，在POM.XML 文件中dependencies元素下添加如下元素。

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.1.0</version>
    </dependency>

五 测试代码

• 启动Spark代码

//设置hadoop 环境变量，不设置也可以，会有烦人的报错。
System.setProperty("hadoop.home.dir", "E:/drawsky/bin");
SparkSession spark = SparkSession.builder()
    .appName("test")
    .master("local[*]")
    .config("hadoop.home.dir", "E:/drawsky/bin")
    .config("spark.sql.warehouse.dir","E/drawsky/SparkTest/spark-warehouse")
    .getOrCreate();

• 测试，计算wordCount

 private static void countWords(SparkSession spark) {
        JavaRDD<String> st = spark.sparkContext()
          .textFile("G:/elasticsearch-5.3.2/LICENSE.txt", 1)
          .toJavaRDD();
        JavaPairRDD<String, Integer> out =st
            .flatMap(
                line ->Arrays.asList(line.split(" ")).iterator()
             )
            .groupBy(e -> e)
            .mapValues(x -> {
                    Iterator<String> it = x.iterator();
                    int i = 0;
                    while (it.hasNext()) {
                        it.next();
                        i++;
                    }
                    return i;
                });
        Map<String, Integer> map = out.collectAsMap();
        System.out.println(map.toString());
    }

• 在Eclipse中直接运行即可。