Spark源码阅读03-Spark存储原理之序列化和压缩

在Spark中内置了两个数据序列化类：JavaSerializer和KryoSerializer，这两个继承于抽象类SeriaIizer, 而在Spark SQL中SparkSqlSerializer继承于KryoSerializer, 它们之间关系如下Spark序列化类图所示。

默认情况下Spark默认使用的JavaSerializer 序列方法， 它使用的是Java 的ObjectOutputStream序列化框架。JavaSerializer继承于java.io.Serializable，但性能不佳， 而且生成的序列结果也较大， 因此Spark提供性能更佳的KryoSerializer方法，不过KryoSerializer不支持所有的系列化对象， 而且要求用户注册类。 如果这两种序列化方法不满足要求， 也可以通过集成Scrializer类自定义新的序列化方法。

Spark初始序列化是在SparkEnv类进行创建，在该类中根据spark.serializer配置初始化序列化实例， 然后把该实例作为参数初始化SerializerManager实例， 而SerializerManager作为参数初始化Block.Manager。代码实现如下：

//这里可以序列化的对象是Shuffle数据以及RDD缓存等场合

val serializer = instantiateClassFromConf[Serializer](

“spark.serializer”, “org.apache.spark.serializer.JavaSerializer”)

logDebug(s"Using serializer: ${serializer.getClass}")

val serializerManager = new SerializerManager(serializer, conf, ioEncryptionKey)

val closureSerializer = new JavaSerializer(conf)

需要注意的是，这里可配的序列化的对象是Shuffle数据以及RDD缓存等场合，对于Spark 任务的序列化是通过spark.closure.serializer米配置， 目前只支待JavaSerializer。

压缩

---

Spark内置提供了三种压缩方法， 分别是：LZ4、LZF和Snappy, 这三个方法均继承于特质类CompressionCodec, 并实现了其压缩和解压两个方法， 它们之间关系如下Spark压缩类图所示。

这二个压缩算法采用了第三方库实现的， Snappy提供了更高的压缩速度，LZF提供了更高 的压缩比， LZ4提供了压缩速度和压缩比俱佳的性能：

• Snappy: 使用Torg.xerial.snappy库， Snappy算法的前身是Zippy， 被Google用于MapReduce、 BigTable等许多内部项目；

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

最后

关于面试刷题也是有方法可言的，建议最好是按照专题来进行，然后由基础到高级，由浅入深来，效果会更好。当然，这些内容我也全部整理在一份pdf文档内，分成了以下几大专题：

• Java基础部分

• 算法与编程

• 数据库部分

• 流行的框架与新技术（Spring+SpringCloud+SpringCloudAlibaba）

这份面试文档当然不止这些内容，实际上像JVM、设计模式、ZK、MQ、数据结构等其他部分的面试内容均有涉及，因为文章篇幅，就不全部在这里阐述了。

作为一名程序员，阶段性的学习是必不可少的，而且需要保持一定的持续性，这次在这个阶段内，我对一些重点的知识点进行了系统的复习，一方面巩固了自己的基础，另一方面也提升了自己的知识广度和深度。

作为一名程序员，阶段性的学习是必不可少的，而且需要保持一定的持续性，这次在这个阶段内，我对一些重点的知识点进行了系统的复习，一方面巩固了自己的基础，另一方面也提升了自己的知识广度和深度。