Spark学习笔记之-Spark on yarn（External Shuffle Service）

 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle 数据，给其他Executor提供shuffle数据。

    当Executor进程任务过重，导致GC而不能为其 他Executor提供shuffle数据时，会影响任务运行。

    这里实际上是利用External Shuffle Service 来提升性能，External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。

    通过该服务 来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他 Executor的任务运行。

启用方法：

    1. 在NodeManager中启动External shuffle Service。

a. 在“yarn-site.xml”中添加如下配置项：

<property>

<name>yarn.nodemanager.aux-services</name>

<value>spark_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>

<value>org.apache.spark.network.yarn.YarnShuffleService</value>

</property>

<property>

<name>spark.shuffle.service.port</name>

<value>7337</value>

</property>

配置参数描述

yarn.nodemanag er.aux-services  ： NodeManager中一个长期运行的辅助服务，用于提升Shuffle 计算性能。

yarn.nodemanag er.auxservices. spark_s huffle.class ： NodeManager中辅助服务对应的类。

spark.shuffle.ser vice.port ： Shuffle服务监听数据获取请求的端口。可选配置，默认值 为“7337”。

b. 添加依赖的jar包

拷贝“${SPARK_HOME}/lib/spark-1.3.0-yarn-shuffle.jar”到“$ {HADOOP_HOME}/share/hadoop/yarn/lib/”目录下。

c. 重启NodeManager进程，也就启动了External shuffle Service。

    2. Spark应用使用External shuffle Service。 

在“spark-defaults.conf”中必须添加如下配置项： 

spark.shuffle.service.enabled true 

spark.shuffle.service.port 7337 

说明 
1.如果1.如果“yarn.nodemanager.aux-services”配置项已存在，则在value中添加  “spark_shuffle”，且用逗号和其他值分开。 
2.“spark.shuffle.service.port”的值需要和上面“yarn-site.xml”中的值一样。 
配置参数描述 
spark.shuffle.ser vice.enabled   ： NodeManager中一个长期运行的辅助服务，用于提升Shuffle  计算性能。默认为false，表示不启用该功能。 
spark.shuffle.ser vice.port   ： Shuffle服务监听数据获取请求的端口。可选配置，默认值  为“7337”。