Windowns 下安装Spark
一、需要的安装包
hadoop
hadoop2.6.5(选择清华大学的源)spark
spark1.6hadoop.dll 和winutils.exe
hadoop.dll 和 winutils.exe
二、环境配置
在环境变量中新建HADOOP_HOME, 值为hadoop安装路径
在环境变量中新建SPARK_HOME, 值为spark安装路径
具体操作同上将hadoop和spark的bin添加到系统path中
4.将hadoop.dll和winutils.exe 添加到hadoop bin中
至此,spark环境已经搭好,下面进行测试。
测试
- 新建 spark User Libraries,添加所有spark 安装路径lib下jar。
- 测试代码
package test;
import java.util.Arrays;
import org.apache.hadoop.util.StringUtils;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
public class SparkMain{
public static void main(String[] args) {
SparkConf sparkConf = new SparkConf().setAppName("my app").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1,2,3,4));
JavaRDD<Integer> result = rdd.map(new Function<Integer, Integer>() {
/**
*
*/
private static final long serialVersionUID = 1L;
public Integer call(Integer x)
{
return x*x;
}
});
System.out.println(StringUtils.join(",", result.collect()));
}
}
- 运行结果