Spark调优之Tuning Spark(Part 1)

概述

翻译Spark官方调优指南Tuning Spark

Data Serialization

序列化在分布式程序中扮演着重要角色,序列化较慢或者序列化结果较大均会降低计算速度。Spark在易用性和性能之间做了权衡,提供了两种实现,如下

  • JavaSerializer : Spark默认的Serializer,基于java.io.ObjectOutputStream、java.io.ObjectInputStream实现,优点是,可以序列化任意实现Serializable接口的class,易用性强;缺点也明显,序列化速度慢,性能差,序列化的结果较大。
  • KryoSerializer : Kryo相对于JavaSerializer性能更好,序列化结果更小,唯一明显的不足,需要注册(register)自定义的class类型,这也是KryoSerializer不是默认Serializer的主要原因。

在代码中通过SparkConf设置使用KryoSerializer ,如下

 conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

Serializer主要在两个阶段发挥作用:

  • 数据溢写磁盘、Shuffle中间结果写入磁盘
  • Shuffle阶段数据写入内存(Tungsten)

上述第一点不仅减少了磁盘空间使用,也减少了后续传输Shuffle中间结果的网络开销,第二点是Tungsten项目优化内存的重点,即在内存中存储序列化的对象,大大降低内存开销。

使用KryoSerializer,需要注册自定义class,模板代码如下

val conf = new SparkConf().setMaster(...).setAppName(...)
conf.registerKryoClasses(Array(classOf[MyClass1], classOf[MyClass2]))
val sc = new SparkContext(conf)

如果使用中遇到buffer limit exceeded异常,则需要增大spark.kryoserializer.buffer.max(默认64M)参数,更多使用及测试参考KryoSerializerSuite

最后,如果不注册class,Kryo仍然可以使用,但是性能会变差,因为每个序列化对象都要存储一份完整对象名(full class name)。

Memory Tuning

主要从以下三个方面理解内存的调优

  • 数据(objects)占用空间的大小
  • 访问数据(objects)的耗时
  • GC延时

Java对象比占用空间比原始数据大,但访问Java对象更快,关于Java对象空间开销参考我的博客Spark 内存管理之TungstenSpark中JVM的不足小节。Java对象空间开销大主要原因如下

  • Java对象中额外存储header、hash信息
  • 编码带来的开销,如UTF-8编码至少占2 byte
  • 集合类,如List、Map等还存储了length、capacity、load factor等信息
  • 基本数据类型被转成包装类存储在集合中,增加了对象的开销

接下来的内容,依次是,内存管理的概述,查看数据占用空间,优化数据结构,存储序列化的数据及GC调优。

Memory Management Overview

Spark将内存划分为ExecutionStorageOther三部分,Execution存储Shuffle过程中joins、sorts、aggregations的数据,Storage用于cache、broadcast及传输结果给driver。

Spark实现了两个内存管理器StaticMemoryManagerUnifiedMemoryManager,两者主要区别在于,后者Execution和Storage的界限是不固定的,可以互相借用对方内存,但是,当Storage借用了Execution内存且Execution内存不足时,Execution会要回Storage借用的内存,反之,Execution并不会返还借用的内存。这样处理使得内存的使用更为充分,UnifiedMemoryManager也成为Spark 1.6及以后版本默认的内存管理器。

更多内容及参数设置参考我的博客Spark 内存管理概述Spark 内存管理之StaticMemoryManagerSpark 内存管理之UnifiedMemoryManager

Determining Memory Consumption

估算数据的内存占用,能够更好的进行内存调优,最好的也是最简单的方式是,创建RDD并cache(MEMORY_ONLY或MEMORY_ONLY_SER),在Web UI中Storage页面查看内存使用情况。

对于单个对象,Spark提供了SizeEstimator工具查看其内存占用,可以用来估算broadcast变量内存占用,代码如下

SizeEstimator.estimate(new java.lang.Boolean(true))

Tuning Data Structures

避免由于Java对象带来的内存开销,如下

  • 避免使用Java、Scala集合类(如List、Map),使用数组、基本数据类型和fastutil
  • 避免设计或使用带有嵌套和指针的class,如HashMap的设计
  • 能使用number或enumeration类型作为key,不使用String
  • 如果是64位机器并且内存小于32G,使用-XX:+UseCompressedOops参数压缩指针,参数可以配置在spark-env.sh

Serialized RDD Storage

cache是Spark一个重要功能,StorageLevel选择MEMORY_ONLY_SER或MEMORY_AND_DISK_SER会降低内存开销,不足是序列化及反序列化带来的CPU开销,推荐使用Kryo,性能好。

Garbage Collection Tuning

当使用RDD的cache(persist)时,内存使用增加,GC成为关注的重点。Java判断对象是否可用进行清理,因此对象的数量是影响GC的一个因素,使用int[]而不是List< Integer >能显著减少对象数量。

内存管理中Execution和Storage之间的相关作用,也是影响GC的一个关键点,后续会介绍通过参数进行相关调整。

Measuring the Impact of GC

GC调优首先要收集GC的相关信息,主要为GC频率和耗时,配置如下

spark-submit 
--name "My app" 
--master local[*] 
--conf "spark.executor.extraJavaOptions= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps  -Xloggc:/tmp/executor.gc.out" 
--conf "spark.driver.extraJavaOptions= -verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps  -Xloggc:/tmp/driver.gc.out" 
myApp.jar

GC日志会写入对应的/tmp/executor.gc.out、/tmp/driver.gc.out文件,通过Spark Web UI观察Executor运行情况,查找运行慢的节点,查看对应节点的GC日志。

Advanced GC Tuning

进行GC调优前,先对GC机制作简单介绍。

JVM内存模型将heap划分为如上几部分,各部分比例为Eden:S0:S1=8:1:1,Young:Old=1:2,如下

Young GenEden81
Survivor01
Survivor11
Old Gen 2


GC过程如上图,分为Minor GCMajor GC,如下

  • Minor GC:新生成的对象存放在Eden区,Eden区满了触发Minor GC,存活的对象转移到Survivor中的一个,Eden再次满了,检查Eden和存有对象的Survivor区,存活的对象转义到另一个Survivor区,如此反复上述过程,存活一定次数的对象放入Old区,此外,如果上述过程出现Survivor放不下全部存活对象时,也会放入Old区,最后,大对象会直接放入Old区。
  • Major GC:Old区满了触发Major GC,Major GC会”Stop the World”,程序hang住且没有任何日志信息很可能是在执行Major GC,使用CMS垃圾回收器(-XX:+UseConcMarkSweepGC)能够降低”Stop the World”导致的延迟,当通过Web UI观察Spark程序GC时间较长时,使用该参数调优。

上面介绍了JVM GC,Spark GC调优希望能够做到,Old区只是long-lived objects,Young区是short-lived objects,从而减少Major GC频率,具体方法如下

  • 通过Spark Web UI查看Major GC耗时,如果耗时较长,尝试使用CMS垃圾回收器,以及调整Execution内存,或者增大executor内存。
  • 通过我们上面提到的executor.gc.out日志,查看Minor GC情况,如果Minor GC太过频繁,考虑增大Eden区,使用
    -Xmn参数,增大为原有的4/3倍是一个经验值。
  • 查看GC日志,如果Old区是接近于满的,尽可能减少cache功能的使用,或者通过spark.memory.storageFraction(UnifiedMemoryManager)参数控制storage部分内存大小,当然还可以通过降低Young区增大Old区,但效果并不会理想,根本上还是要增大executor内存。
  • G1垃圾回收器在某些场景下会显著提升,特别是高版本JVM中,逐渐趋于成熟,是GC调优的一个尝试,使用参数-XX:+UseG1GC
  • 内存使用估算,例如数据源是hdfs的情况,如果block大小是128M,executor同时运行4个task的话,那么内存使用大概是4 * 128M,如果使用了压缩格式,那么考虑解压后的大小。

从上面可以看出,GC调优的目的是降低Major GC频率,手段集中在选择合适的垃圾回收器、调整Young和Old区大小、调整Spark内存管理器中各组成的占比、增大内存,其中JVM相关参数通过spark.executor.extraJavaOption配置。GC调优的技巧需要通过实践不断积累,环境不同效果可能完全不同,调优之中调是很重要的一步。

参考:
Tuning Spark
Java 内存区域和GC机制
Java (JVM) Memory Model – Memory Management in Java

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值