由于Hadoop的伪分布式环境已经搭建好,下面就是部署Spark
1.去官网下载Spark。
我是下载的最新版spark-2.1.0-bin-hadoop2.7.tgz。
2.解压至安装路径。
我是安装在/usr/local/目录下,所以执行下面命令 。
3.配置环境变量。
export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
4.配置Spark环境变量
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
添加如下代码:
export JAVA_HOME=/usr/java/latest
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.12.1
export SPARK_HOME=/usr/local/spark-2.1.0-bin-hadoop2.7
export SPARK_MASTER_IP=127.0.0.1
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8099
export SPARK_WORKER_CORES=3
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=10G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=1G
以上配置具体可以参考官网的说明,按照自己的需求配置,怕麻烦就配置前7行。
5.配置Slave
cp slaves.template slaves
vim slaves
里面添加slave的名字,一行一个,默认为localhost,因为我是伪分布式,所以就默认就好。
6.启动Spark Master
start-master.sh
7.启动Spark Slave
start-slave.sh
8.关闭master和slave
stop-master.sh和stop-slave.sh
小总结:
安装过程中要注意权限,可以添加专门的用户和用户组来学习,如果怕麻烦,可以都以root的身份登录安装与使用,或是把
spark-2.1.0-bin-hadoop2.7目录的权限该为777,一般默认都是755,即执行命令sudo chmod -R 777 /usr/local/
spark-2.1.0-bin-hadoop2.7
在Hadoop的安装过程中,如果不注意权限的问题,也会遇到部署不成功的问题,也可以通过上面的方法来解决。