ubuntu16.04(64位)+Hadoop2.7.3伪分布式环境下部署Spark

由于Hadoop的伪分布式环境已经搭建好，下面就是部署Spark

1.去官网下载Spark。

    我是下载的最新版spark-2.1.0-bin-hadoop2.7.tgz。

2.解压至安装路径。

   我是安装在/usr/local/目录下，所以执行下面命令 。

3.配置环境变量。

 export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

4.配置Spark环境变量
  cd $SPARK_HOME/conf 
  cp spark-env.sh.template spark-env.sh
  vim spark-env.sh
  添加如下代码：
  
export JAVA_HOME=/usr/java/latest
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.12.1
export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=10G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G

以上配置具体可以参考官网的说明，按照自己的需求配置，怕麻烦就配置前7行。

5.配置Slave
cp slaves.template slaves 
vim slaves
里面添加slave的名字，一行一个，默认为localhost，因为我是伪分布式，所以就默认就好。

6.启动Spark Master
 start-master.sh

7.启动Spark Slave
 start-slave.sh

8.关闭master和slave
 stop-master.sh和stop-slave.sh




小总结：
安装过程中要注意权限，可以添加专门的用户和用户组来学习，如果怕麻烦，可以都以root的身份登录安装与使用，或是把
spark-2.1.0-bin-hadoop2.7目录的权限该为777，一般默认都是755,即执行命令sudo chmod -R 777 /usr/local/spark-2.1.0-bin-hadoop2.7
在Hadoop的安装过程中，如果不注意权限的问题，也会遇到部署不成功的问题，也可以通过上面的方法来解决。