kafka自定义序列化器

在Kafka的生产者与消费者API中，生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给kafka，同时消费者也需要用反序列化器（Deserializer）把从Kafka中收到的字节数组转换转换成相应的对象。为使开发者方便地使用序列化器，Kafka自身已经封装了一个序列化器org.apache.kafka.common.serialization.StringSerializer与反序列化器org.apache.kafka.common.serialization.StringDeserializer。

上面描述到的只是其中的String序列化器与反序列化器，当然也还会有其它的类型的，比如ByteArray、ByteBuffer、Bytes、Double、Interger、Long这几种类型，它们都实现了org.apache.kafka.common.serialization.Serializer接口，此接口有三个方法：

void configure(Map<String, ?> configs, boolean isKey);
byte[] serialize(String topic, T data);
void close();

• configure()方法用来配置当前类
• serialize()方法用来执行序列化操作
• close()方法用来关闭当前的序列器；一般情况下close()会是一个空方法，如果实现了此方法，则必须确保此方法的幂等性，因为这个方法很可能会被KafkaProducer调用很多次。

本文将以生产者的StringSerializer作为分析入口，其它的基本类似，读者可按照相同的方法进行源码阅读即可。StringSerializer类的具体实现如下：

public class StringSerializer implements Serializer<String> {
    private String encoding = "UTF8";

    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {
        String propertyName = isKey ? "key.serializer.encoding" : "value.serializer.encoding";
        Object encodingValue = configs.get(propertyName);
        if (encodingValue == null)
            encodingValue = configs.get("serializer.encoding");
        if (encodingValue instanceof String)
            encoding = (String) encodingValue;
    }

    @Override
    public byte[] serialize(String topic, String data) {
        try {
            if (data == null)
                return null;
            else
                return data.getBytes(encoding);//将String转化为byte[]
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error when serializing string to byte[] due to unsupported encoding " + encoding);
        }
    }

    @Override
    public void close() {
        // nothing to do
    }
}

查看上述方法，configure()是在创建KafkaProducer实例的时候调用的，主要用来确定编码类型，默认的情况是UTF-8，一般开发中都不会去做修改。serialize()方法比较简单，就是将String类型转为byte[]数组类型。

如果Kafka客户端提供的几种序列化器都无法满足应用需求，则可以选择使用如Avro、JSON、Thrift、ProtoBuf和Protostuff等能用的序列化工具来实现，或者使用自定义的序列化器来实现。

下面先定义个Student对象

public class Student {
    private String name;
    private String sex;
//下面get、set方法省略
}

自定义Student序列化器：

public class StudentSerializer implements Serializer<Student> {
    private final String encoder = "UTF-8";

    @Override
    public void configure(Map configs, boolean isKey) {

    }

    @Override
    public byte[] serialize(String topic, Student student) {
        if (student == null) return null;
        byte[] name, sex;

        try {
            if (student.getName() != null) {
                name = student.getName().getBytes(encoder);
            } else {
                name = new byte[0];
            }

            if (student.getSex() != null) {
                sex = student.getSex().getBytes(encoder);
            } else {
                sex = new byte[0];
            }

            ByteBuffer buffer = ByteBuffer.allocate(4 + 4 + name.length + sex.length);
            buffer.putInt(name.length);
            buffer.put(name);
            buffer.putInt(sex.length);
            buffer.put(sex);
            return buffer.array();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return new byte[0];
    }

    @Override
    public void close() {

    }
}