spark-1.3.0集群安装

前提是防火墙已经关闭，免密码服务已配置

1、下载、解压tar文件。设置spark环境变量：

        export SPARK_HOME=/home/grid/ spark-1.3.0-bin-hadoop2.4

        在PATH环境变量后面添加（:$SPARK_HOME/bin）

        在CLASSPATH环境变量后面添加（:$JAVA_HOME/lib:$JAVA_HOME/jre/lib）

2、修改配置文件vim conf/spark_env.sh

        添加：export JAVA_HOME=/usr/java/jdk1.8.0_73

                  export SCALA_HOME=/usr/scala/scala

                  export SPARK_MASTER_IP=192.168.100.193

                  export SPARK_WORKER_MEMORY=1g

                  export HADOOP_CONF_DIR=/home/grid/hadoop-2.6.0/etc/hadoop

3、修改配置文件vim conf/slaves

4、生成分发文件：  cat spark-1.3.0-bin-hadoop2.4/conf/slaves | awk '{print "scp -rp ./spark-1.3.0-bin-hadoop2.4 grid@"$1":/home/grid"}'>sparkfa

5、修改文件权限：chmod a+x sparkfa

6、执行文件./sparkfa

7、在sbin目录下执行：./start-all.sh

8、执行 /usr/java/jdk1.8.0_73/bin/jps，查看进程情况，或者 浏览器输入192.168.100.193:8080查看集群情况，或者执行spark-shell，进入spark-shell