Centos7上安装配置Spark

该文章主要是描述Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz

1、Spark 下载、解压、安装

Spark官方网站：Apache Spark™ - Unified Engine for large-scale data analytics

Spark下载地址：Index of /dist/spark

tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/module
mv spark-3.1.3-bin-hadoop3.2.tgz spark

2、Spark Local 模式

        所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境我们称之为开发环境，不太一样。

2.1 启动Local环境

1）进入解压缩后的路径，执行如下指

bin/spark-shell --master local[4]

2）启动成功后，可以输入网址进行Web UI监控页面访问

http://linux100:4040

3）整合hive，需要引用hive的hive-site.xml配置文件

ln -s /opt/module/hive/conf/hive-site.xml /opt/module/spark/conf

2.2 命令行工具

在解压缩文件夹下创建tmp_input目录，并添加word.txt文件，在命令行工具中执行如下代码指令

scala> sc.textFile("tmp_input/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect;
res1: Array[(String, Int)] = Array((Hello,3), (Word,1), (Scala,1), (Spark,1))

2.3 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.1.3.jar \
8

• --class 表示要执行程序的主类
• --master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU核数量
• spark-examples_2.11-3.1.3.jar 运行的应用类所在的jar包
• 数字8表示程序的入口参数，用于设定当前应用的任务数量

3、Spark Standalone 模式

        独立部署（Standalone）模式，Spark自身节点运行的集群模式，该模式体现了经典的master-slave模式。 

	linux101	linux102	linux103
Spark	Worker   Master	Worder	Worker

3.1 修改配置文件

1）进入解压缩后路径的conf目录，修改slaves.template文件名为slaves

mv slaves.template slaves

2）修改slaves文件，添加work节点

linux101
linux102
linux103

3）修改spark-env.sh.template文件名为spark-env.sh

mv spark-env.sh.template spark-env.sh

4）修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点

export JAVA_HOME=/opt/module/jdk1.8.0_212
SPARK_MASTER_HOST=linux101
SPARK_MASTER_PORT=7077

注意：7077端口，相当于hadoop内部通信的8020端口

3.2 启动集群

1）执行脚本命令：

sbin/start-all.sh

2）查看Web UI界面: http://linux101:8080

3.3 提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux101:7077 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

• --master spark://linux101:7077 独立部署模式，连接到Spark集群

3.4 提交参数说明

在提交应用中，一般会同时一些提交参数

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]

参数	解释	可选值举例
--class	Spark程序中包含主函数的类
--master	Spark程序运行的模式	local[*]、spark://linux101:7077、 Yarn
--executor-memory 1G	指定每个executor可用内存为1G	符合集群内存配置即可，具体情况具体分析
--total-executor-cores 2	指定所有executor使用的cpu核数为2个
--executor-cores	指定每个executor使用的cpu核数
application-jar	打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
application-arguments	传给main()方法的参数

3.5 配置历史服务

        由于spark-shell停止掉后，集群监控linux101:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

1）修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://linux101:8020/sparklog

注意：需要启动hadoop集群，HDFS上的目录需要提前存在。

sbin/start-dfs.sh
hadoop fs -mkdir /sparklog

3）修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://linux101:8020/sparklog 
-Dspark.history.retainedApplications=30"

• 参数1含义：WEBUI访问的端口号为18080
• 参数2含义：指定历史服务器日志存储路径
• 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4）分发配置文件

xsync conf

5）重新启动集群和历史服务

sbin/start-all.sh
sbin/start-history-server.sh

6）重新执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://linux101:7077 \
./examples/jars/spark-examples_2.12-3.1.3.jar \
10

7）查看历史服务：http://linux101:18080

3.6 配置高可用（HA）

        所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置。

集群规划：

	linux101	linux102	linux102
Spark	Master	Master
	Zookeeper	Zookeeper	Zookeeper
	Worker	Worker	Worker

1）停止集群

sbin/stop-all.sh 

2）启动Zookeeper

xstart zk

 3）修改spark-env.sh文件添加如下配置

# 注释如下内容：
# SPARK_MASTER_HOST=linux101
# SPARK_MASTER_PORT=7077

# 添加如下内容:
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=linux101,linux102,linux103 
-Dspark.deploy.zookeeper.dir=/spark"

4）分发配置文件

xsync conf/

5）启动集群

sbin/start-all.sh

 6）启动linux102的单独Master节点，此时linux102节点Master状态处于备用状态
Status: STANDBY

[root@linux102 spark]# sbin/start-master.sh

4、Yarn模式

        独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些，比如Yarn。 

4.1 修改配置文件

1）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml, 并分发

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

2）修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置

mv spark-env.sh.template spark-env.sh
...
export JAVA_HOME=/opt/module/jdk1.8.0_212
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

3）整合hive，需要引用hive的hive-site.xml配置文件

ln -s /opt/module/hive/conf/hive-site.xml /opt/module/spark/conf

4.2 启动HDFS以及YARN集群

start-dfs.sh
start-yarn.sh

4.3  提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
8

查看http://linux102:8088页面，点击History，查看历史页面

4.4 配置历史服务器

1）修改spark-defaults.conf.template文件名为spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

2）修改spark-default.conf文件，配置日志存储路径

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://linux101:8020/sparklog

注意：需要启动hadoop集群，HDFS上的目录需要提前存在。

[root@linux101 hadoop-3.1.3]# sbin/start-dfs.sh
[root@linux101 hadoop-3.1.3]# hadoop fs -mkdir /sparklog

3）修改spark-env.sh文件, 添加日志配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://linux101:8020/sparklog 
-Dspark.history.retainedApplications=30"

• 参数1含义：WEBUI访问的端口号为18080
• 参数2含义：指定历史服务器日志存储路径
• 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

4）修改spark-defaults.conf

spark.yarn.historyServer.address=linux101:18080
spark.history.ui.port=18080

5）启动历史服务

sbin/start-history-server.sh

 6）重新提交应用

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.1.3.jar \
8

7）Web页面查看日志：http://linux2:8088

5、Spark的注意点与问题点

【Spark-501】spark-3.1.3-bin-hadoop3.2的版本需要python版本3.6+，3.6版本尽管不影响使用，但也有可能有一些警告，尽量算较新的python3.x版本

FutureWarning: Python 3.6 support is deprecated in Spark 3.2.

【Spark-502】spark-sql跑数据时，报异常：Failed with exception java.io.IOException:org.apache.parquet.io.ParquetDecodingException
异常原因：由于Hive和Spark中使用的不同的parquet约定引起的

解决方案：加上该配置 spark.conf.set("spark.sql.parquet.writeLegacyFormat","true")

参考地址：java - parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file - Stack Overflow

【Spark-503】WARN conf.HiveConf: HiveConf of name hive.metastore.event.db.notification.api.auth does not exist