摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署

1、Spark On Yarn的本质

Spark专注于分布式计算；Yarn专注于资源管理。

Spark将资源管理的工作交给了Yarn来负责!

2、环境搭建和启动

环境搭建

1.修改spark-env.sh

cd /export/server/spark/conf cp spark-env.sh.template spark-env.sh vim /export/server/spark/conf/spark-env.sh 在最后面添加以下内容: HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop YARN_CONF_DIR=/export/server/hadoop/etc/hadoop SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://node1:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

2.修改hadoop的yarn-site.xml

node1修改

cd /export/server/hadoop-3.3.0/etc/hadoop/ vim /export/server/hadoop-3.3.0/etc/hadoop/yarn-site.xml 在<configuration>下面添加以下内容: <!-- 设置yarn集群的内存分配方案 -->     <property>         <name>yarn.nodemanager.resource.memory-mb</name>         <value>20480</value>     </property>     <property>         <name>yarn.scheduler.minimum-allocation-mb</name>         <value>2048</value>     </property>     <property>         <name>yarn.nodemanager.vmem-pmem-ratio</name>         <value>2.1</value> </property>

将其同步到其他两台