spark伪分布式部署

实验步骤

1. 建立master slave1 slave2相互之间的免密远程连接
2. 在master服务器上的Linux本地安装并配置Spark、Scala
3. 向slaves添加master slave1 slave2
4. 向spark-env.sh文件添加相应变量
5. 将主节点文件拷贝到所有从节点。
6. 在master节点上启动Hadoop

 

代码

配置主机与IP的映射

vi /etc/hosts

ssh-keygen -t rsa

ssh-copy-id -i master

ssh-copy-id -i slave1

ssh-copy-id -i slave2

1. mkdir -p /data/spark9 cd /data/spark9/  

1. cd /data/spark9/  
2. wget http://192.168.1.100:60000/allfiles/spark9/scala-2.10.4.tgz  
3. wget http://192.168.1.100:60000/allfiles/spark9/spark-1.6.0-bin-hadoop2.6.tgz  

1. cd /data/spark9/  
2. tar -xzvf /data/spark9/scala-2.10.4.tgz -C /apps/  
3. tar -xzvf /data/spark9/spark-1.6.0-bin-hadoop2.6.tgz -C /apps/
4. cd /apps  
5. mv /apps/scala-2.10.4/ /apps/scala
6. mv /apps/spark-1.6.0-bin-hadoop2.6/ /apps/spark
7. vim ~/.bashrc 
8. #scala 
9. export SCALA_HOME=/apps/scala 
10. export PATH=$SCALA_HOME/bin:$PATH 
11. #spark 
12. export SPARK_HOME=/apps/spark 
13. export PATH=$SPARK_HOME/bin:$PATH 
14. source ~/.bashrc 
15. scala -version
16. cd /apps/spark/conf  
17. mv slaves.template  slaves  
18. vim slaves  
19. master  
20. slave1  
21. slave2
22. mv /apps/spark/conf/spark-env.sh.template /apps/spark/conf/spark-env.sh  
23. vim /apps/spark/conf/spark-env.sh 
24. HADOOP_CONF_DIR=/apps/hadoop/etc/hadoop 
25. JAVA_HOME=/apps/java 
26. SCALA_HOME=/apps/scala 
27. SPARK_MASTER_IP=master 
28. SPARK_MASTER_PORT=7077 
29. SPARK_MASTER_WEBUI_PORT=8080 
30. SPARK_WORKER_CORES=1 
31. SPARK_WORKER_MEMORY=1g 
32. SPARK_WORKER_PORT=7078 
33. SPARK_WORKER_WEBUI_PORT=8081 
34. SPARK_EXECUTOR_INSTANCES=1 
35.  
36.  
37. scp -r /apps/scala/ slave1:/apps/  
38. scp -r /apps/spark/ slave1:/apps  
39. scp -r /apps/scala/ slave2:/apps/  
40. scp -r /apps/spark/ slave2:/apps/
41. 追加环境变量至slave1 slave2

1. vim ~/.bashrc  

1. #scala  
2. export SCALA_HOME=/apps/scala  
3. export PATH=$SCALA_HOME/bin:$PATH  
4. #spark  
5. export SPARK_HOME=/apps/spark  
6. export PATH=$SPARK_HOME/bin:$PATH  

1. source ~/.bashrc
2. cd /apps/Hadoop/sbin
3. ./start-all.sh
4. 查看master slave1 slave2节点jsp是否添加master/worker进程
5.