kafka
文章平均质量分 93
AllWe$
Java开发
展开
-
二、kafka生产与消费全流程
在上面的demo中,由于消息的key和value都是String类型的,就可以使用kafka.client提供的String序列化器,如果想要发送其他自定义类型的对象,可以手动编写一个序列化器和反序列化器,实现Serializer接口,将对象和byte数组互相转换即可。提交最后一次消费消息的偏移量,下一次消费就从上次提交的偏移量开始,如果一个新的消费者群组消费一个主题的消息,可以根据不同的配置来指定起始的偏移量。群组之间的消费是互不干扰的,比如群组A的消费者和群组B的消费者可以同时消费同一个分区的消息。原创 2024-09-26 18:00:52 · 445 阅读 · 0 评论 -
一、Kafka入门
双十一秒杀、春节12306场景有流量洪峰,但是后端服务器短时间内无法处理大量请求,使用消息中间件可以缓存涌入进来的大量请求,后端服务慢慢消费这些请求,尽最大努力处理请求。在群组消费者群组场景下,每个分区的消息只能由一个消费者消费,但是一个消费者可以消费多个分区的消息。由于消费消息相对于生产消息很慢,可以增加分区去提高消费的并发度,从而平衡生产和消费的速度。进入kafka的bin目录,编写两个启动脚本,一个启动zookeeper,一个启动kafka。:比较依赖网络,网络的吞吐量对kafka集群的影响很大。原创 2024-09-24 16:51:03 · 820 阅读 · 0 评论