Spark环境搭建

Windows下测试环境搭建

1、安装JDK（具体方法自行百度）

JDK下载地址

2、安装Scala（具体方法自行百度）

Scala下载地址

3、安装Spark

Spark下载地址
配置环境变量：


进入spark-1.6.0-bin-hadoop2.6\bin目录下，双击spark-shell.cmd，出现如下界面表示安装成功

注意版本兼容问题，我用的版本是：jdk1.8.0_101+scala-2.10.6+spark-1.6.0-bin-hadoop2.6

LINUX下环境搭建

LINUX下JDK、SCALA、SPARK安装请自行百度。

进入spark-1.6.0-bin-hadoop2.6/conf目录下，修改spark-env.sh.template文件。
添加：

export SPARK_MASTER_IP=192.168.59.130
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_MEMORY=2g

启动
sh spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
停止
sh spark-1.6.0-bin-hadoop2.6/sbin/stop-all.sh

提交任务
sh spark-1.6.0-bin-hadoop2.6/bin/spark-submit –class scala.Test /path/jar/spark.test.jar