Spark集群搭建

搭建spark集群，目标 1（master）+2（slaves）

工具准备：

• 搭建hadoop集群， 参考
• * http://blog.csdn.net/shuaidan19920412/article/details/72587855 *
• * Scala version 2.10.4 官网下载 *
• spark-1.6.1-bin-hadoop2.6 官网下载

1. scala 安装，参考 http://blog.csdn.net/bahaidong/article/details/44220633

（1） 将 scala 安装包，复制到 /usr目录下，并解压。
（2） 更改环境变量 （/etc/profile）。

    export SCALA_HOME=/usr/scala-2.10.4
    export PATH=$PATH:$SCALA_HOME/bin

（3）环境变量生效(source /etc/profile )

1. spark 相关数据目录建立。

     $ mkdir /data                   //存储数据的总目录
    $ mkdir /data/spark                  //spark数据存储主目录
    $ mkdir /data/spark/local       //spark存储本地数据的目录
    $ mkdir /data/spark/log          //spark存储日志的目录
    $ mkdir /data/spark/work      //spark存储worker日志等信息的目录
    $ chmod -R 777 /data/            //将/data目录权限设置为最大

1. spark安装
   （1） 将 spark安装包spark-1.6.1-bin-hadoop2.6，复制到 /usr目录下，并解压。
   （2） 更改环境变量 （/etc/profile）。

export SPARK_HOME=/usr/spark-1.6.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin

（3）配置 spark-env.sh
路径 /usr/spark-1.6.1-bin-hadoop2.6/conf

$  cp spark-env.sh.template spark-env.sh              //将spark-env.sh.template复制一份为spark-env.sh

配置可参考

export SCALA_HOME=/usr/scala-2.10.4
export JAVA_HOME=/usr/jdk1.7.0_79
export HADOOP_HOME=/usr/hadoop-2.6.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=Master
export SPARK_LOCAL_IP=Slave2  #后面，复制到其它服务器一定得修改为自己的ip或者映射名
export SPARK_WORKER_DIR=/data/spark/work
export SPARK_LOG_DIR=/data/spark/log

（4）配置 slaves
路径： /usr/spark-1.6.1-bin-hadoop2.6/conf
配置参考为（尤其注意，不能加入Master）：

Slave1
Slave1
 ```
(5)其它配置
可参考 http://blog.csdn.net/jianghuxiaojin/article/details/51036126
尤其注意，修改 SPARK_LOCAL_IP
配置完成后，将以上信息全部进行相应的复制。包含：scala、spark、profile
参考命令：

scp -r /usr/spark-1.6.1-bin-hadoop2.6/ root@Slave1:/usr/spark-1.6.1-bin-hadoop2.6/

在相应的主机创建对应的spark软链接，并将spark-env.sh中SPARK_LOCAL_IP改为对应的ip即可。

 3.  启动spark
 (1) 在hadoop 的bin文件中启动集群
  $ ./start-all.sh
 (2) 启动spark集群

$ ./sbin/start-all.sh                    //启动master和slaves
$ ./sbin/start-history-server.sh        //启动history server

 (3) 查看成功与否
  jps命令查看是否成功启动。
  监控页面URL http:// 120.27.153.137:8080/
  运行 spark-pi。

./spark-submit –master spark://Master:7077 –class org.apache.spark.examples.SparkPi –name Spark-Pi /usr/spark-1.6.1-bin-hadoop2.6/lib/spark-examples-1.6.1-hadoop2.6.0.jar
“`

参考：
http://blog.csdn.net/shuaidan19920412/article/details/72587855
http://blog.csdn.net/jianghuxiaojin/article/details/51036126
http://www.cnblogs.com/onetwo/p/5424377.html
http://www.cnblogs.com/lijingchn/p/5573898.html