Kafka之序列化

最新推荐文章于 2024-07-15 10:53:41 发布

「已注销」

最新推荐文章于 2024-07-15 10:53:41 发布

阅读量2k

点赞数

分类专栏： Kafka 文章标签： kafka

大部分分博客都是原创，少部分笔记转载，介意联系博主删除，如有转载标明来源，禁止商用，

本文链接：https://blog.csdn.net/qq_41259576/article/details/107198963

版权

本文介绍了Kafka中生产者如何使用序列化器将对象转换为字节数组进行网络传输，以及消费者如何使用反序列化器将接收到的字节数组还原为对象。Kafka内置了多种序列化器，包括String、ByteArray等，要求生产者和消费者的序列化器匹配。若标准序列化器无法满足需求，可以使用Avro、JSON等通用工具或自定义序列化器。

摘要由CSDN通过智能技术生成

生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给Kafka。而在对侧，消费者需要用反序列化器（Deserializer）把从 Kafka 中收到的字节数组转换成相应的对象。

通常我们的数据量是十分庞大的，为了性能，程序中的序列化器也使用了客户端自带的org.apache.kafka.common.serialization.StringSerializer，除了用于String类型的序列化器，还有ByteArray、ByteBuffer、Bytes、Double、Integer、Long这几种类型，它们都实现了org.apache.kafka.common.serialization.Serializer接口，kafka 对其进行了再包装，提高Kafka实际中的性能，
生产者使用的序列化器和消费者使用的反序列化器是需要一一对应的，如果生产者使用了某种序列化器，比如StringSerializer，而消费者使用了另一种序列化器，比如IntegerSerializer，那么是无法解析出想要的数据的，这个普通加密和解密是一样的道理。
如果 Kafka 客户端提供的几种序列化器都无法满足应用需求，则可以选择使用如 Avro、JSON、Thrift、ProtoBuf和Protostuff等通用的序列化工具来实现，或者使用自定义类型的序列化器来实现，这里做一个例子

/**
 * @author jiangzhiwen
 * @version 1.0
 * @date 2020/7/8 10:38 上午
 */

public class CompanySeralize implements Serializer<CompanySeralize.Company> {
   
    private String encoding = "UTF-8";
    @Override
    public void configure