spark集群搭建

Spark

1. 在opt下创建两个文件夹：mkdir  so    mkdir  zz
2. 将spark和scala镜像包解压到zz下面：tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz -C  /opt/zz

tar  -zxvf scala-2.12.17.tgz -C /opt/zz

1. 修改spark和scala的文件名：mv   spark-3.1.1-bin-hadoop3.2.tgz  spark

mv  scala-2.12.17.tgz  scala

1. 配置环境变量：vim /etc/profile

#scala

export SCALA_HOME=/opt/module/scala

export PATH=$PATH:$SCALAL_HOME/bin

#spark

export SPARK_HOME=/opt/module/spark

export PATH=$PATH:$SPARK_HOME/bin

1. 环境变量生效：source /etc/profile
2. 查看scala的版本号：scala  -version
3. 进入配置文件目录：cd /opt/zz/spark/conf
4. 修改文件名：mv spark-env.sh.template spark-env.sh 

mv workers.template workers

1. 编辑文件：vim spark-env.sh

export SPARK_MASTER_IP=192.168.31.2

export SPARK_MASTER_HOST=hadoop1

export SPARK_MASTER_PORT=7077

export SCALA_HOME=/opt/module/scala

export SPARK_HOME=/opt/module/spark

export JAVA_HOME=/opt/module/jdk

export HADOOP_HOME=/opt/module/hadoop

export HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop

1. 进入workers： vim  workers

1. 分发：

Scp -r /opt/zz/scala node2:/opt/zz/scala

Scp -r /opt/zz/scala node3:/opt/zz/scala

Scp -r /opt/zz/spark node2:/opt/zz/spark

Scp -r /opt/zz/spark node3:/opt/zz/spark

Scp -r /opt/zz/spark node2:’pwd’ #解压到和当前相同的目录

Scp -r /etc/profile  node2:/etc/profile

Scp -r /etc/profile  node3:/etc/profile

1. 发完环境变量记得在其它两个节点生效。
2. 进入的sbin底下启动：cd /opt/zz/spark/sbin
3. 启动：./start-all.sh

注意：如果不加./就是启动hadoop

主节点出现master和worker，从节点出现worker说明启动成功。

1. 进入spark ：spark-shell
2. ：qu退出
3. 浏览器访问：访问spark的端口号：8080

spark百度网盘：下载地址

提取码：1771