kafka
文章平均质量分 80
可以吧可以吧
可以吧
展开
-
kafka优化配置,Kafka 的消费者客户端详解
前面讲解了 Kafka 的生产者,而与生产对应的就是消费者,程序中可以通过 KafkaConsumer 来订阅主题,并从订阅的主题中拉取消息。而 Kafka 中消费者比生产者多了个组的概念,也称消费者组,从而提升单机的消费速度。本文将介绍下消费者与消费者组的概念,然后再对客户端开发进行详细讲解。对于 Kafka 的分区来说,它的每条消息都有唯一的偏移量,用来展示消息在分区中对应的位置,它是一个单调递增的整数。原创 2022-11-28 16:45:34 · 3282 阅读 · 0 评论 -
docker快速搭建kafka集群
之所以这样指定网络而不是在编排文件中指定网络为一个网络段的原因是因为考虑到后面可能kafka和zookeeper分布在6台机器上,到时使用docker swarm构建docker 集群,网络处理就很方便,不用修改编排文件。因为为每台容器都新增了一个网络,如果不重启,容器用的还是之前的网络,就会导致kafka和kafka-manager是ping不通zookeeper的三个容器的。说明kafka集群构建好了,并且kafka集群已经完成了和zookeeper集群的互通。6、构建zookeeper集群。原创 2022-10-26 09:28:25 · 1543 阅读 · 0 评论 -
docker快速搭建kafka集群
之所以这样指定网络而不是在编排文件中指定网络为一个网络段的原因是因为考虑到后面可能kafka和zookeeper分布在6台机器上,到时使用dockerswarm构建docker集群,网络处理就很方便,不用修改编排文件。因为为每台容器都新增了一个网络,如果不重启,容器用的还是之前的网络,就会导致kafka和kafka-manager是ping不通zookeeper的三个容器的。kafka集群需要用到zookeeper集群,因此需要先构建zookeeper集群,请查看文章。6、构建zookeeper集群。...原创 2022-07-27 15:33:41 · 2271 阅读 · 10 评论 -
kafka 新建消费组 如何消费信息
目录新增消费组和修改消费组消费者与消费组消费组与分区重平衡创建Kafka消费者订阅主题拉取循环消费者配置自动提交提交当前位移异步提交混合同步提交与异步提交提交特定位移重平衡监听器(Rebalance Listener)从指定位移开始消费优雅退出反序列化自定义反序列化使用Avro反序列化单个消费者会造成丢数据和幂等性问题假设这么个场景:我们从Kafka中读取消息,并且进行检查,最后产生结果数据。我们可以创建一个消费者实例去做这件事情,但如果生产者写入消息的速度比消费者读取的速度快怎么办呢?这样随着时间增长,消原创 2022-07-06 15:26:30 · 2728 阅读 · 0 评论