spark注册类序列化KryoSerializer

注册类序列化KryoSerializer

操作步骤

    Spark程序运行时，在 shuffle 和 RDD Cache 等过程中，会有大量的数据需要序列化，默认使用 JavaSerializer，通过配置让 KryoSerializer 作为数据序列化器来提升序列化性能。

在开发应用程序时，添加如下代码来使用 KryoSerializer 作为数据序列化器。

在spark中默认的Java序列化方式在这方面是不尽如人意的。Java序列化很灵活但性能较差，同时序列化后占用的字节数也较多。

所以官方也推荐尽量使用Kryo的序列化库（版本2）。官文介绍，Kryo序列化机制比Java序列化机制性能提高10倍左右，Spark之所以没有默认使用Kryo作为序列化类库，是因为它不支持所有对象的序列化，同时Kryo需要用户在使用前注册需要序列化的类型，不够方便。

● 实现类注册器并手动注册类。

package com.etl.common;

import com.esotericsoftware.kryo.Kryo;

import org.apache.spark.serializer.KryoRegistrator;

 

public class DemoRegistrator  implements KryoRegistrator  {

    @Override

    public void registerClasses (Kryo kryo) {

        //以下为示例类，需注册自定义类

        kryo.register(AggrateKey.class);

        kryo.register(AggrateValue.class);

    }

}

        可以在Spark客户端对 spark.kryo.registrationRequired 参数进行配置，设置是否需要 Kryo 注册序列化。

       当参数设置为true时，如果工程中存在未被序列化的类，则会抛出异常。如果设置为 false （默认值），kryo会自动将未注册的类名写到对应的对象中。此操作会对系统性能造成影响。设置为 true 时，用户需手动注册类，针对未序列化的类，系统不会自动写入类名，而是抛出异常，相对 false，其性能要好。

● 配置 KryoSerializer 作为数据序列化器和类注册器。

val  conf = new SparkConf()

conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")

.set("spark.kryo.registrator", "com.etl.common.DemoRegistrator")

 

 

spark序列化相关https://www.jianshu.com/p/8ccd701490cf

 

spark.kryo.classesToRegister：向Kryo注册自定义的的类型，类名间用逗号分隔

 

spark.kryo.referenceTracking：跟踪对同一个对象的引用情况，这对发现有循环引用或同一对象有多个副本的情况是很有用的。设置为false可以提高性能

 

spark.kryo.registrationRequired：是否需要在Kryo登记注册？如果为true，则序列化一个未注册的类时会抛出异常

 

spark.kryo.registrator：为Kryo设置这个类去注册你自定义的类。最后，如果你不注册需要序列化的自定义类型，Kryo也能工作，不过每一个对象实例的序列化结果都会包含一份完整的类名，这有点浪费空间

 

spark.kryo.unsafe：如果想更加提升性能，可以使用Kryo unsafe方式

 

spark.kryoserializer.buffer：每个Executor中的每个core对应着一个序列化buffer。如果你的对象很大，可能需要增大该配置项。其值不能超过spark.kryoserializer.buffer.max

 

spark.kryoserializer.buffer.max：允许使用序列化buffer的最大值

 

spark.serializer：序列化时用的类，需要申明为org.apache.spark.serializer.KryoSerializer。这个设置不仅控制各个worker节点之间的混洗数据序列化格式，同时还控制RDD存到磁盘上的序列化格式及广播变量的序列化格式。