Spark的安装与配置

1.前期准备

1. 准备三台linux服务器，安装好jdk,最好也安装好hadoop，到时候使用spark的时候需要使用到hdfs。

2. 下载安装包
   到spark官网下载spark安装包
   http://spark.apache.org/downloads.html

3. 配置spark
   spark 的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,我们选择最具代表性的Standalone集群部署模式。
   将下载好的spark安装包解压到linux中，进入到spark安装目录

 	cd /opt/module/spark-2.1.1-bin-hadoop2.7/conf/

将slaves.template复制为slaves
将spark-env.sh.template复制为spark-env.sh
修改slave文件，在slave文件里面添加你的三台集群机器

然后按上面那种方式，修改spark.env.sh
在文件里面添加以下两行代码

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077

SPARK_MASTER_HOST代表你所配置的master的机器名
SPARK_MASTER_PORT代表maser使用的端口号

3. 配置分发
   将配置好的spark文件分发到另外两台机器上

scp /opt/module/spark-2.1.1-bin-hadoop2.7/conf atguigu@hadoop103:/opt/module/spark-2.1.1-bin-hadoop2.7/

scp /opt/module/spark-2.1.1-bin-hadoop2.7/conf atguigu@hadoop104:/opt/module/spark-2.1.1-bin-hadoop2.7/

4.启动spark
至此，spark集群配置完毕，目前是1个master ，2个worker 在hadoop102 上启动spark集群

sbin/start-all.sh 

使用jps命令查看当前进程

也可以在web浏览器端查看spark集群状态
http://hadoop102:8080

到此，spark集群安装完毕
需要注意的是，在启动spark集群时，如果遇到"JAVA_HOME not set" 问题时，在sbin 目录下的spark-config.sh 文件中加入JAVA_HOME的配置。如下：
export JAVA_HONE=jdk路径