PySpark集群环境安装(HA-Standalone模式)

PySpark是Python中的一个库, 由Spark官方提供. 专供用户使用Python语言操作Spark

1. 首先安装python环境

基于anaconda的虚拟环境方案，来安装python。因为anaconda可以虚拟出多个Python环境, 且各个环境相对独立，能够解决python版本的兼容性问题

1.1 anaconda版本选择

https://www.anaconda.com/download#downloads

1.2 anaconda安装

anaconda三台机器都需要安装, 以下演示在node1安装, 其余两台机器安装和配置一样

cd /export/software
上传Anaconda脚本到Linux

执行脚本:
bash Anaconda3-2021.05-Linux-x86_64.sh

不断输入空格, 直至出现以下解压, 然后输入yes

此时, anaconda需要下载相关的依赖包, 时间比较长, 耐心等待即可…,不要输入多次回车, 在等待中如果需要输入yes/no, 直接输入yes

1.3 配置anaconda的环境变量:

vim /etc/profile
##增加如下配置

export ANACONDA_HOME=/root/anaconda3/bin
export PATH=$PATH:$ANACONDA_HOME/bin

重新加载环境变量: source /etc/profile

修改bashrc文件
sudo vim ~/.bashrc
添加如下内容:

export PATH=~/anaconda3/bin:$PATH

1.4 启动anaconda并测试

注意: 请将当前连接node1的节点窗口关闭,然后重新打开,否则无法识别，输入 Python启动:

如果命令行最前面出现了 (base) 信息, 可以通过以下方式, 退出Base环境
vim ~/.bashrc
添加: conda deactivate

1.5 基于python环境启动spark

2. pyspark库的安装

./pyspark客户端启动后，即使没有安装pyspark，也可以用使用python语言操作spark，这是因为Spark安装环境中集成了pyspark

但我们利用pycharm工具使用python环境在本地编码时，需要在linux-node1的python环境中安装pyspark库。(pycharm工具连接远端python环境完成编码工作)

2.1 直接安装PySpark

使用PyPI安装PySpark如下：也可以指定版本安装
pip install pyspark==3.1.2

或者指定清华镜像(对于网络较差的情况)：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark==3.1.2 # 指定清华镜像源

2.2 本地安装包安装pyspark

先将pyspark上传到node1 /export/software
cd /export/software
pip install pyspark-3.1.2.tar.gz

2.3 基于Anaconda安装pyspark

#从终端创建新的虚拟环境pyspark_env
conda create -n pyspark_env python=3.8

#创建虚拟环境后，它应该在 anaconda 环境列表下不可见，可以使用以下命令查看
conda env list

#使用以下命令激活新创建的环境：
source activate pyspark_env
或者
conda activate pyspark_env

在新创建的环境中通过使用pip安装pyspark。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark==3.1.2

或者，可以从 Conda 本身安装 PySpark
conda install pyspark==3.1.2

3. Spark Standalone集群环境

Standalone模式是Spark自带的一种集群模式，不同于前面Local模式，单机启动多线程来模拟集群环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

3.1 workers配置

cd /export/server/spark/conf/
cp workers.template workers
vim workers

3.2 Spark-env环境配置

cd /export/server/spark/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

Jdk,hadoop, yarn的路径, 需要配置为自己的路径.History配置中, 需要指定hdfs的地址, 其中端口号为8020或者9820, 需要参考hdfs上对应namenode的通信端口号

3.3 spark应用日志配置

第一步: 在HDFS上创建应用运行事件日志目录:
hdfs dfs -mkdir -p /sparklog/
第二步: 配置spark-defaults.conf
cd /export/server/spark/conf
cp spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf

cd /export/server/spark/conf
cp log4j.properties.template log4j.properties
vim log4j.properties

3.4 分发配置到其它机器

cd /export/server/conf
scp -r spark-3.1.2-bin-hadoop3.2/conf/ node2:$PWD
scp -r spark-3.1.2-bin-hadoop3.2/conf/ node3:$PWD

3.6 启动和关闭集群

主节点上启动集群

/export/server/spark/sbin
start-all.sh

主节点上停止集群

/export/server/spark/sbin
stop-all.sh

3.7 WEBUI界面

http://node1.itcast.cn:8080/

3.8 连接集群

[root@node1 bin]# pyspark --master spark://node1:7077

4. Spark高可用集群

多Master模式，其中一个结点为Active，其它结点为Standby。集群需要依赖zookeeper实现Master动态结点的切换

4.1 spark-env.sh配置

node1、node2、node3三台机器配置

vim spark-env.sh
注释或删除MASTER_HOST内容:
SPARK_MASTER_HOST=node1

增加以下配置:
SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181
-Dspark.deploy.zookeeper.dir=/spark-ha"

spark.deploy.recoveryMode：恢复模式
spark.deploy.zookeeper.url：ZooKeeper的Server地址
spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker、Driver、Application信息。

4.2启动集群

/export/server/spark/sbin
start-all.sh

先启动集群的结点Master为活跃状态，再单独启动一个master为standby状态

/export/server/spark/sbin
start-master.sh

4.3 WEBUI界面

http://node1.itcast.cn:8080/
http://node2.itcast.cn:8080/