序列化与反序列化

一、概念

1、序列化

将数据结构转换称为二进制数据流或者文本流的过程。序列化后的数据方便在网络上传输和在硬盘上存储。

2、反序列化

与序列化相反，是将二进制数据流或者文本流转换称为易于处理和阅读的数据结构的过程。

3、序列化的意义

计算机往往是根据二进制来区分数据的，例如一个字节、两个字节、三个字节等等。由于在内存中或者磁盘上，或者平台的环境不同，为了方便数据在不同的地方能够具有相同的含义，我们需要将数据转换为一种大家都能识别的格式。二进制或者编码格式是大家都认同的方式，而序列化正好是将一种数据格式转换为二进制数据流的过程或者方法，那么该数据结构就能够在任何地方保持其原有的含义，这就是序列化的意义。

4、序列化的应用场景

(1)网络通讯(C/S):以字节方式在网络中传输数据;

(2)数据存储(例如文件，缓存);

二、kafka的序列化与反序列化

1、序列化

kafka序列化消息是在生产端，序列化后，消息才能网络传输。而构造KafkaProducer代码如下：

Properties props = new Properties();
props.put("bootstrap.servers", "ip:9092");
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
kafkaProducer = new KafkaProducer<>(props);

属性key.serializer和value.serializer就是key和value指定的序列化方式。无论是key还是value序列化和反序列化实现都是一样的，所以接下来都只以value的序列化和反序列为例。

StringSerializer是内置的字符串序列化方式，核心源码如下：

/**
 *  String encoding defaults to UTF8 and can be customized by setting the property key.serializer.encoding,
 *  value.serializer.encoding or serializer.encoding. The first two take precedence over the last.
 */
public class StringSerializer implements Serializer<String> {
    private String encoding = "UTF8";
    ... ...

    @Override
    public byte[] serialize(String topic, String data) {
        try {
            // 如果数据为空，那么直接返回null即可
            if (data == null)
                return null;
            else
                // 否则将String序列化，即转为byte[]即可
                return data.getBytes(encoding);
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error when serializing string to byte[] due to unsupported encoding " + encoding);
        }
    }

    @Override
    public void close() {
        // nothing to do
    }
}

2、反序列化

kafka反序列化消息是在消费端。由于网络传输过来的是byte[]，只有反序列化后才能得到生产者发送的真实的消息内容。而构造KafkaConsumer代码如下：

Properties props = new Properties();
props.put("bootstrap.servers", "ip:9092");
props.put("key.deserializer",   "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
KafkaConsumer<String, String> kafkaConsumer = new KafkaConsumer<>(props);

属性key.deserializer和value.deserializer就是key和value指定的反序列化方式。

StringDeserializer是内置的字符串反序列化方式，核心源码如下：

/**
 *  String encoding defaults to UTF8 and can be customized by setting the property key.deserializer.encoding,
 *  value.deserializer.encoding or deserializer.encoding. The first two take precedence over the last.
 */
public class StringDeserializer implements Deserializer<String> {
    private String encoding = "UTF8";
    ... ...

    @Override
    public String deserialize(String topic, byte[] data) {
        try {
            // 如果数据为空，那么直接返回null即可
            if (data == null)
                return null;
            else
                // 否则将byte[]反序列化，即转为String即可
                return new String(data, encoding);
        } catch (UnsupportedEncodingException e) {
            throw new SerializationException("Error when deserializing byte[] to string due to unsupported encoding " + encoding);
        }
    }

    ... ...
}