【spark on yarn模式的保姆级教程】

Spark on yarn 模式部署

使用的软件是Hadoop-3.1.3和spark-3.1.1

关于hadoop的部署可查看主页文章

1、配置环境变量

vim /etc/profile.d/bigdata_env.sh 此文件为新建的存放个人配置的环境变量

export SPARK_HOME=/opt/module/spark-yarn
export PATH=$SPARK_HOME/bin:$PATH

2、修改 conf 目录下的配置文件

spark-env.sh和spark-defaults.conf文件需要重命名

mv spark-env.sh.template spark-env.sh
mv spark-defaults.conf.template spark-defaults.conf

vim spark-env.sh => spark的使用 需要引入 hadoop 的配置文件路径，若使用 yarn 则还需要 yarn 的配置文件路径

export HADOOP_CONF_DIR=/etc/module/hadoop/etc/hadoop
export YARN_CONF_DIR=/etc/module/hadoop/etc/hadoop

vim spark-defaults.conf => 设置 spark 的一些相关默认配置

# 指定 spark 使用的环境为 yarn
spark.master                        yarn
# spark 启用事件日志
spark.eventLog.enabled              true
# 配置 spark 的事件日志的目录 
spark.eventLog.dir                  hdfs://master:9000/spark-logs
# 配置 spark 历史文件存储目录
spark.history.fs.logDirectory       hdfs://master:9000/spark-logs
# 配置spark使用的 yarn 的历史服务器的地址
spark.yarn.historyServer.address    http://master:18080
# 配置 spark 将要运行的临时资源文件上传到 hdfs 的目录中供 yarn 访问使用
spark.yarn.stagingDir               hdfs://master:9000/spark-Staging

spark历史服务器启动之前前，需要在 hdfs 创建对应的目录

hdfs dfs -mkdir -p /spark-logs
hdfs dfs -mkdir -p /spark-Staging

运行 spark 自带的 examples 代码，计算 pi 值，以下为运行命令

spark-submit \
--master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.1.jar

如果出现如图这个错误，是因为yarn关于容器内存溢出的限制，去hadoop的yarn-site.xml配置文件里面配置以下配置

<!--禁用yarn对容器进行物理内存限制 => 可以避免出现物理内存溢出导致容器被kill的错误-->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
<!--禁用yarn对容器进行虚拟内存限制 => 可以避免出现虚拟内存溢出导致容器被kill的错误-->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

执行成功的结果截图 => 第八九行那里有 Pi 的计算值

spark 的历史服务器地址：http://master:18080 => master 可替换成对应的 ip 地址