Spark Standalone 集群部署图文分享

JDK和Scala的安装  

请参阅Hadoop安装文章里的说明： http://congli.iteye.com/blog/2158007  

SSH无密码登录  
请参阅Hadoop安装文章里的说明： http://congli.iteye.com/blog/2158007  

Spark的下载和安装包解压  

1、  下载spark，我用的是1.1.0 for hadoop2.4版本，不用自己编译（ 暂时没有需要编译的需求，且编译需要下载jar包等，有些被墙了，先用编译好的 ） 
2、  用hadoop用户解压安装： 

Java代码  

1. tar zxf /home/spark/spark-1.1.0-bin-hadoop2.4.tgz  

如果是因为权限问题请chown给hadoop用户 

Java代码  

1. chown -R hadoop:hadoop /app  

3、 为了好记，所以我会给spark改下名字 

Java代码  

1. mv spark-1.1.0-bin-hadoop2.4/ spark110  

Spark配置文件的配置  

4、进入配置目录 

Java代码  

1. cd /app/spark110/conf/    

5、  节点的配置：删除localhost,再添加hadoo1、hadoop2、hadoop3 

Java代码  

1. vi slaves   

 


6、  配置spark的运行环境，先从模板进行拷贝 

Java代码  

1. cp spark-env.sh.template spark-env.sh  

然后编辑 

Java代码  

1. vi spark-env.sh  

然后在最后插入： 

Java代码  

1. export JAVA_HOME=/home/jvm/jdk1.8.0_25  
2. export SPARK_MASTER_IP=hadoop1  
3. export SPARK_WORKER_CORES=1  
4. export SPARK_WORKER_INSTANCES=1  
5. export SPARK_MASTER_PORT=7077  
6. export SPARK_WORKER_MEMORY=1g  

配置项说明(根据环境，自行配置)：  

引用

export SPARK_WORKER_CORES=1  一个worker用的核 
export SPARK_WORKER_INSTANCES   一台机器开启多少个worker 
export SPARK_WORKER_MEMORY=1g  用多少内存

环境变量的配置  

环境变量配置（需要各个节点都配置），这里我就不细说了，请大家参阅上一篇文章的配置环境变量章节进行配置
传送门： http://congli.iteye.com/blog/2158007  

Spark Standalone集群部署  
将spark配置完成的目录copy到各个节点 

Java代码  

1. scp -r spark110 hadoop@hadoop2:/app/spark110/  
2. scp -r spark110 hadoop@hadoop3:/app/spark110/  

启动Spark  
现在启动Spark 

Java代码  

1. sbin/start-all.sh  

验证Spark安装是否完成  

我们访问一下 
http://hadoop1:8080/  会看到如下图的界面，里面可以看到有3个节点，正是我们配置的hadoop1、hadoop2、hadoop3 


至此，我们的Spark集群就已经安装好了，如果开启Spark-Shell以及运行例子等，我之后会再开贴记录。