石臻臻的杂货铺(szzdzhp001)

之前在写 多版本并行开发测试解决方案 的时候 占了个坑,今天来补上;这篇文章主要讲一下 kafka的服务复用与隔离;主要解决的问题是,在多个迭代环境下; 让消息的提供者和消费者都能正确的发出和消费;这个比dubbo的服务路由与隔离更复杂一点1.问题描述概念说明:稳定版本: ABC 属于全局共用的一套稳定服务;迭代版本: A1 C1 C2 属于他们对应系统的迭代版本, 比如针对A系统进行需求改动,部署一套新的迭代服务A1;要求: mq提供者服务提供出去的消息尽量让 相同版本的消费者进行消费；

目录查询1.查看所有或者指定Topic的信息2.列出所有Topic3.新消费者列表查询4.显示某个消费组的消费详情（0.10.1.0版本+）TODO查询1.查看所有或者指定Topic的信息查看Topic的分区情况 副本情况和 配置情况## 所有bin/kafka-topics.sh --describe --zookeeper xxxx ##指定bin/kafka-topics.sh --describe --zookeeper xxxx --topic TOPIC名称输出[roo

目录concurrency属性作用什么情况下设置concurrency,以及设置多少不同配置的实验分析分区数3|concurrency = 1|启动一个客户端(单机)分区数3|concurrency = 1|启动2个客户端(分布式模式)分区数3|concurrency = 3|启动一个客户端分区数3|concurrency = 3|启动2个客户端(分布式模式)批量消费concurrency属性作用concurrency默认是1;container.setConcurrency(3)表示创建三个Kaf

CORRUPT_MESSAGE这个错误一般是压缩策略为cleanup.policy=compact的情况下，key不能为空o.a.k.c.p.i.Sender 595 [WARN] [Producer clientId=producer-1] Got error produce response with correlation id 131 on topic-partition SHI_TOPIC1-0, retrying (2147483521 attempts left). Error: COR

今天出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了：A的消息是否发送了？如果A的消息发送成功了; B为何没有消费到？好,带着上面的问题,我们来一步步排查一下问题所在查询kafka消息是否发送成功1.1.从头消费一下对应的topic;再查询刚刚发送的关键词bin/kafka-console-consumer.sh --bootstrap-server xxx1:9092,xxx2:9092,xxx3:9092 --topic topic名称 -from-

分区策略分区原因方便再集群中扩展,每个Partition可以通过调整以适应它所在的机器,而一个topic又可以有多个Partition组成,因此整个集群就可以适应任意大小的数据了;可以提高并发,因为可以以partition为单位读写分区原则我们需要将producer发送的数据封装成一个ProducerRecord对象指明 partition 的情况下，直接将指明的值直接作为 partiton 值;没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 t

那在上一篇文章中我们了解了 消费者偏移量__consumer_offsets_,知道了 消费者在消费了消息之后会把消费的offset 更新到以 名称为__consumer_offsets_的内置Topic中; 每个消费组都有维护一个当前消费组的offset; 那么就会有以下疑问到底消费组什么时候把offset更新到broker中的分区中呢？ 每次消费一条消息就提交到 broker中去更新？那这样是不是会有一些效率的一些问题？既然有了疑问 ,那么我们本篇文章就来好好分析一下这个问题!通过查询 kaf

我们在kafka的log文件中发现了还有很多以 __consumer_offsets_的文件夹；总共50个;由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了kafka_consumer_groups.sh脚本供用户查看consumer信息。__consumer_offsets 是 kafka 自行创建的，和普通的 topic 相同。它存在的目的之一就

本文设置到的配置项有名称描述类型默认num.partitionstopic的默认分区数int1log.dirs保存日志数据的目录。如果未设置，则使用log.dir中的值string/tmp/kafka-logsoffsets.topic.replication.factoroffset topic复制因子（ps：就是备份数，设置的越高来确保可用性）。为了确保offset topic有效的复制因子，第一次请求offset topic时，活的broker的数量