hadoop-spark完全分布式集群搭建

本次采用的系统为centos7
hadoop版本为2.7.7
spark版本为2.1.1 链接：https://pan.baidu.com/s/1j4M21s6rURvl2uvZC_wxtQ
提取码：qwer
关于hadoop搭建请访问：Hadoop完全分布式集群搭建教程（一）

一、解压spark文件

我们同样把文件解压到根目录下的opt文件夹中

[root@localhost opt]# tar zxvf spark-2.1.1-bin-hadoop2.7.tgz 
#修改一下名称
[root@localhost opt]# mv spark-2.1.1-bin-hadoop2.7 spark-2.1.1

二、修改spark-env.sh文件

进入conf文件夹下，拷贝spark-env.sh.template

#进入路径
cd /opt/spark-2.1.1/conf
#拷贝文件
cp spark-env.sh.template spark-env.sh

#修改文件
vi spark-env.sh

加入以下内容
#配置java
#路径自己修改
export HADOOP_HOME=/opt/hadoop-2.7.7
#指定master的IP
#主机名自己修改
export SPARK_MASTER_HOST=master
#指定master的端口
export SPARK_MASTER_PORT=7077

# 三、修改slaves文件

#拷贝文件
cp slaves.template slaves
#修改文件
vi slaves

加入节点名称

四、分发给各节点

#分发给slave1
scp -r /opt/spark-2.1.1 slave1:/opt/
#分发给slave2
scp -r /opt/spark-2.1.1 slave2:/opt/

路径需要按照自己的来

五、主节点配置环境

进入profile文件，添加以下代码
vi /etc/profile
修改后
source /etc/profile

export SPARK_HOME=/opt/spark-2.1.1
export PATH=$PATH:$SPARK_HOME/bin:$HADOOP_HOME/sbin

六、启动

退回到根目录下

[root@localhost spark-2.1.1]# sbin/start-all.sh

查看jps
主节点：

从节点