spark入门_spark的安装

前言

spark的安装说起来也是给入门的小伙伴看的，也给自己做个记录，本次搭建的是三个节点的集群环境。

下载

下载地址：

https://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgz

读者可以根据自己的Hadoop到官网下载，我这里提供的是基于Hadoop2.7版本所下载的spark版本，一定要注意Hadoop版本和spark版本的兼容性，否则不兼容后面会出现无法想象的错误。

解压安装

因为下载的是二进制的包，所以解压就是安装，接下来就把spark先安装到node1节点上，后面的再进行copy进行了

tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/bigdata/

安装选择自己想要的位置。

可以改个名字

cd /opt/bigdata/ # 进入目录
mv spark-2.3.3-bin-hadoop2.7/ spark  # 改个名字

配置

进入到spark的安装目录下的对应的conf文件夹中

vim spark-env.sh(mv spark-env.sh.template spark-env.sh)

#配置java的环境变量，这里要根据实际情况来配置自己的Java安装目录
export JAVA_HOME=/opt/bigdata/jdk
#配置zk相关信息
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181  -Dspark.deploy.zookeeper.dir=/spark"

vim slaves ( mv slaves.template salves)

#指定spark集群的worker节点
node2
node3

分发到其他的节点上

scp -r spark node2:$PWD
scp -r spark node3:$PWD

添加环境变量

export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

记得soucre 一下哦

source .bash_profile

启动

可以在任意节点启动，在哪个节点启动，哪个就会启动一个master

$SPARK_HOME/sbin/start-all.sh

总结

以上就是全部内容了，搭建其实很简单的，点击关注不迷路哦！