kafka的序列化器和拦截器

最新推荐文章于 2024-09-13 18:53:27 发布

Java技术攻略

最新推荐文章于 2024-09-13 18:53:27 发布

阅读量614

点赞数

文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/ww2651071028/article/details/129829787

版权

本文深入探讨了Kafka的序列化器和拦截器。序列化器在生产者发送消息前将数据转化为字节流，消费者接收时进行反序列化。Kafka提供了多种序列化选项，如自定义实现Serilizer接口。拦截器则允许在消息发送和接收前进行处理，例如过滤或处理异常消息。了解并恰当使用这些机制，对于优化数据传输效率和实现特定业务逻辑至关重要。

摘要由CSDN通过智能技术生成

介绍

本篇主要介绍kafka的拦截器和序列化器，序列化器是和数据在网络中的传输有关，数据在网络中的传输为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将字节流反序列化为我们能够识别的对象，我们不难看出，这就是RPC通信，kafka中实现了很多自定义协议，我们知道，在RPC通信中，只有生产者和消费者的协议一样，才能相互传输和解析数据，在使用HTTP时，我们就不用去关注协议本身，因为HTTP是TCP的上层建筑，它自己实现了一套协议，我们不用去关注，但是使用RPC，我们是面向TCP编程，所以自然得约定和实现自己的协议，而序列化就是这过程中很重要的一部分。

拦截器是一个随处可见的词，基本上很多框架中都有拦截器机制，它的作用主要是对请求进行拦截，我们可以对请求进行过滤和处理，以达到业务目的，比如Spring中有HandlerInterceptor拦截器，在kafka种也有拦截器，我们可以自定义拦截器，对消息进行拦截，比如某些异常消息我们不需要发送，那么就将其拦截下来。

序列化器

数据在网络中传输是以字节流的形式进行传输，在生产者端发送消息需要先进行序列化，消费者端进行反序列化，序列化的方式有很多，比如jdk，json，protobuf，kryo，hessian，avro等等，在大数据量的传输中，序列化和反序列化的效率对吞吐量有一定的影响，kafka提供了许多序列化和反序列化器，如StringDeserializer和<