Spark1.0.1集群部署

参考http://blog.csdn.net/zhxue123/article/details/19199859

http://www.cnblogs.com/tec-vegetables/p/3780046.html

1. 前面都是在4台hadoop2.2集群，以及spark单机版下测试

2. 现在打算部署spark集群

3. 在有spark环境的那台机子执行如下命令，让其他集群也都含有scala,spark文件

scp  -r $SCALA_HOME  hadoop@ip:/home/hadoop/scala_path

scp  -r $SPARK_HOME  hadoop@ip:/home/hadoop/spark_path

并加入环境变量 

4.修改conf/spark-env.sh 加入scala_home, HADOOP_CONF_DIR, SPARK_MASTER_IP

并修改 conf/slaves文件

5. start-all.sh,并调用jps查看状态,多了master, worker,worker,worker进程；启动成功

6. ./bin/run-example SparkPi




7.运行如下命令

8 结果运行成功

9 查看http://resourcemanager:8088/cluster

点击进入

10 集群运行上篇文章自己sbt编写的SimpleApp

成功 我的 README.md 文件很简单

test

test

xia

在测试Java写的求pi

同样效果