windows下安装Spark

Windowns 下安装Spark

一、需要的安装包

1. hadoop
   hadoop2.6.5（选择清华大学的源）

2. spark
   spark1.6

3. hadoop.dll 和winutils.exe
   hadoop.dll 和 winutils.exe

二、环境配置

1. 在环境变量中新建HADOOP_HOME, 值为hadoop安装路径

   

2. 在环境变量中新建SPARK_HOME, 值为spark安装路径
   具体操作同上

3. 将hadoop和spark的bin添加到系统path中
   

4.将hadoop.dll和winutils.exe 添加到hadoop bin中

至此，spark环境已经搭好，下面进行测试。

测试

1. 新建 spark User Libraries，添加所有spark 安装路径lib下jar。
   
2. 测试代码

package test;

import java.util.Arrays;

import org.apache.hadoop.util.StringUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;

public class SparkMain{
    public static void main(String[] args) {
          SparkConf sparkConf = new SparkConf().setAppName("my app").setMaster("local");
    JavaSparkContext sc = new JavaSparkContext(sparkConf);
        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1,2,3,4));
        JavaRDD<Integer> result = rdd.map(new Function<Integer, Integer>() {
            /**
             * 
             */
            private static final long serialVersionUID = 1L;

            public Integer call(Integer x)
            {
                return x*x;
            }
        });
        System.out.println(StringUtils.join(",", result.collect()));
    }

}

1. 运行结果