Spark分布式集群环境搭建

1. 前提
   Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境，hadoop分布式集群环境搭建请看hadoop分布式集群环境配置https://blog.csdn.net/Leader_wang/article/details/84449235
2. 安装spark
   第一步：下载spark：http://spark.apache.org/downloads.html下载完成后，运行以下命令。

sudo tar -zxf ~/下载/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark
sudo chown -R hadoop ./spark

第二步：配置环境变量

vim ~/.bashrc
添加以下信息
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
执行以下命令使修改生效
source ~/.bashrc

第三步：spark配置

• 配置slaves文件
  将 slaves.template 拷贝到 slaves

cd /usr/local/spark