先将spark-2.1.1-bin-hadoop2.7.tgz下载到 /opt/software
然后解压到/opt/module
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /opt/module
重命名文件夹方便以后使用
mv spark-2.1.1-bin-hadoop2.7.tgz spark
修改配置文件,先进入spark/conf文件夹
重命名配置文件
mv spark-env.sh.template spark-env.sh
修改/spark/sbin/start-master.sh文件
vi start.master.sh
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=8080
fi
改为
if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
SPARK_MASTER_WEBUI_PORT=18080
修改spark-env.sh文件
vi spark.env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_212
export SPARK_MASTER_HOST=hadoop001
export SPARK_MASTER_PORT=7077
配置slaves文件还是在spark /conf 文件夹
复制一份slaves.template文件后重命名
cp slaves.template slaves
修改slaves配置文件
vi slaves
hadoop002
hadoop003
修改全局变量
vi /etc/profile
#在最后一行添加
export SPARK_HOME=/opt/module/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin
生效全局变量
source /etc/profile
查看是否可以启动
spark-shell
配置集群
将配置好的spark拷贝到他的副节点
scp -r /opt/module/spark/ @hadoop002: /opt/module/
scp -r /opt/module/spark/ @hadoop003: /opt/module/
spark集群要在他的sbin目录下启动
./start-all.sh
jps查看是否启动成功
网页查看集群
自己的ip地址:18080