Kafka
文章平均质量分 79
kafka相关
喝不完一杯咖啡
学而不思则罔,思而不学则殆
展开
-
【Kafka】Kafka生产者开启幂等性后报错:Cluster authorization failed.
1. 用户业务需求,需要开启生产者的幂等性,生产者加了配置:enable.idempotence = true2. 用户使用的集群开启了ACL认证:SASL_PLAINTEXT/SCRAM-SHA-5123. 用户生产消息时报错:org.apache.kafka.common.errors.ClusterAuthorizationException: Cluster authorization failed.原创 2024-07-03 20:18:42 · 962 阅读 · 0 评论 -
【Kafka】记录一次Kafka消费者重复消费问题
用户反馈消费者出现消息积压,并且通过日志看,一直重复消费,且没有报错日志。原创 2024-07-03 19:42:28 · 580 阅读 · 0 评论 -
【Kafka】Kafka客户端认证失败:Cluster authorization failed.
1. kafka客户端是公司内部基于spring-kafka封装的2. spring-boot版本:3.x3. spring-kafka版本:2.1.11.RELEASE4. 集群认证方式:SASL_PLAINTEXT/SCRAM-SHA-5125. 经过多年的经验,以及实际验证,配置是没问题的,但是业务方反馈用相同的问题,还是报错!原创 2023-12-25 15:42:14 · 2433 阅读 · 0 评论 -
【Kafka】SASL认证的Kafka客户端代码示例(spring-kafka和原生客户端)
最近需要写个小demo测试做测试,整合spring时遇到个配置不知道怎么配,查了一下资料,大部分写的敷衍了事,驴唇不对马嘴,一怒之下,自己写一篇,记录一下,方便以后查看。原创 2023-04-17 18:28:03 · 1442 阅读 · 0 评论 -
【Kafka】MM2同步Kafka集群时如何自定义复制策略(ReplicationPolicy)
使用MM2同步集群数据,默认的复制策略为:DefaultReplicationPolicy,这个策略会把同步至目标集群的topic都加上一个源集群别名的前缀,比如源集群别名为A,topic为:bi-log,该topic同步到目标集群后会变成:A.bi-log,为啥这么做呢,就是为了避免双向同步的场景出现死循环。官方也给出了解释:这是 MirrorMaker 2.0 中的默认行为,以避免在复杂的镜像拓扑中重写数据。 需要在复制流设计和主题管理方面小心自定义此项,以避免数据丢失。原创 2023-03-10 20:14:14 · 2073 阅读 · 3 评论 -
【Kafka】记录一次基于connect-mirror-maker做的Kafka集群迁移完整过程
一个测试环境的kafka集群,Topic有360+,Partition有2000+,部署在虚拟机上,由于多方面原因,要求迁移至k8s容器内(全量迁移),正好可以拿来练一下手。本文主要记录对MM1和MM2的实际操作过程,以及使用过程中遇到的问题及解决方案。原创 2023-03-10 20:05:10 · 3634 阅读 · 3 评论 -
【Kafka】从安装到配置再到监控,教你搭建一套sasl/scram类型的Kafka集群
文章目录准备工作修改配置文件创建初始用户创建jaas文件修改启动脚本启动Kafka添加SystemdKafka监控部署jmx_exporter配置Prometheus配置Grafana后记本文的主要内容是讲解一个4个broker,SASL/SCRAM类型的Kafka集群搭建过程。准备工作安装jdk安装Zookeeper和kafka之前,需要先安装java环境,并配置环境变量,推荐Java 8。安装zookeeperKafka依赖zookeeper,安装Kafka之前需要安装zk。搭建过程参考:原创 2021-02-05 17:07:46 · 860 阅读 · 0 评论 -
【Kafka】记录一次K8环境下不同存储的Kafka benchmark测试
本次主要针对k8s环境下不同的存储openebs和ceph进行benchmark测试集群环境两个集群环境出了存储不同,broker、topic信息均相同kafka Info:5个brokerTopic Info:副本数3;分区30kafka server version:2.6.0生产者测试消息数:100w;每条消息大小:10byte 存储类型 每秒发送消息数 (records/sec) 发送速率 (MB/sec) .原创 2020-12-29 17:54:34 · 602 阅读 · 0 评论 -
【Kafka】记录一次虚拟机环境Kafka benchmark测试
注意此性能测试在虚拟机上测试! kafka基准测试,消息发送,消息消费 集群规模为三个broker 此测试对topic不同分区进行测试 2.1版本kafka已经取消了多少线程发送的测试,所以不对发送线程进行归类测试集群环境机器:测试机器163,164,165kafka Info:3节点broker,jvm 1g,日志168小时(测试时,单独对topic进行了日志存储时间的设置,为的是自动清除数据,测试机器硬盘小)kafka version:2.1.1虚拟机配置:8 Int...原创 2020-12-29 17:50:17 · 473 阅读 · 0 评论 -
【Kafka】动手实践之Kafka运维脚本系列(持续更新)
文章目录kafka-delete-records.shkafka-log-dirs.shkafka-preferred-replica-election.shkafka-delete-records.sh作用:删除topic指定partition的指定offset之前的数据用法:参数是否必须备注–bootstrap-server REQUIRED设置连接的Kafka服务地址,多个以英文逗号分隔–command-config 包含需要传递给Admin Client的原创 2020-12-24 15:28:04 · 584 阅读 · 0 评论 -
【Kafka】测试集群中Broker故障对客户端的影响
本文主要测试Partition的Leader所在Broker节点故障之后,对客户端的影响。测试信息:Topic信息:3个副本,3个分区;Producer:多线程,100条/秒、10条/秒;Consumer:不间断poll消息;测试客户端:原生的KafkaConsumer/KafkaProducer、Spring的KafkaTemplete;测试场景:Producer和Consumer运行过程中,通过K8Sdashboard删除Partition所在Leader对应的Pod;测试.原创 2020-12-18 11:09:21 · 8844 阅读 · 0 评论 -
【Kafka】在Kafka和ZK“分手”之前,来看看Kafka在ZK中到底保存了什么
Kafka将broker、topic、config等元数据信息存放在zookeeper中,详细的结构如下:(基于Kafka2.1.1)![](https://tva1.sinaimg.cn/large/0081Kckwly1glau2wrt4ej31790rl77t.jpg)原创 2020-12-03 18:55:27 · 1191 阅读 · 0 评论