一、背景
最近在学习kafka相关的知识,正好遇到一个疑问,在写demo的过程中发现,投递的数据都是字符串类型,那么就想想在实际应用中应该会有大量的需求投递自定义数据类型,那么如何才能投递自定义数据类型呢?这里面就涉及到了kafka提供的接口序列化和反序列化的功能。
二、kafka消息序列化和反序列化
先看个demo,写个Producer客户端,根据官方文档,需要先做一些配置,放到Properties中,这里包括啥bootstrap.servers,等参数,就不详解了,主要是用到两个参数:
props.put("key.serializer","org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
添加了这么两个参数,其实这个是kafka封装好的,把字符串进行序列化,这就是为什么在ProducerRecord中可以输入字符串进行传输。同时,我们在Consumer端也需要添加这样两个参数,这两个参数是进行反序列化的作用的,就是接收到kafka传递给你的数据之后,进行反序列化操作。
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
添加以上两个参数,就是为啥我们是用Producer和Consumer进行生产和接收数据了,并且是以字符串的形式,那么这两个类到底实现了什么功能呢,下面看一下...
public class StringSerializer implements Serializer<String> {
private String encoding = "UTF8";
@Override
public void configure(Map<String, ?> configs, boolean isKey) {
String propertyName = isKey ? "key.serializer.encoding" : "value.serializer.encoding";
Object encodingValue = configs.get(propertyName);
if (encodingValue == null)
encodingValue = configs.get("serializer.encoding");
if (encodingValue != null && encodingValue instanceof String)
encoding = (String) encodingValue;
}
@Override
public byte[] serialize(String topic, String data) {
try {
if (data == null)
return null;
else
return data.get