Spark安装与部署

1.下载安装包
2.上传在虚拟机中
3.解压 tar -xvf
4.删除压缩包 rm -f
5.

vi /etc/profie
export SPARK_HOME=/home/[user]/xxx/spark-1.6.2-bin-hadoop2.6
 export PATH=$PATH:${SPARK_HOME}/bin

6.打开conf文件夹下的

cp spark-env.sh.tamplate spark-env.sh
 vi spark-env.sh
 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.91-0.b14.el7_2.x86_64 
export SCALA_HOME=/home/[user]/xxx/scala-2.11.8 export SPARK_WORKER_MEMORY=4g 
export SPARK_MASTER_IP=101.X.XX.XX0 
export MASTER=spark://101.X.XX.XX0:7077 
export HADOOP_CONF_DIR=/home/[user]/xxxx/hadoop-2.7.2/etc/hadoop

7.cp slaves.sh.tamplate slaves.sh
vi slaves.sh
主机名 hostname

8.打开sbin文件夹
启动全部 ./start-all.sh

<如如果遇到错误，先重启>
./stop-all.sh ./start-all.sh