Kafka
kafka安装使用规范及问题解决收录技术文档
//承续缘_纪录片
这个作者很懒,什么都没留下…
展开
-
kafka性能配置&调优
kafka性能配置&调优原创 2022-04-18 17:28:27 · 1839 阅读 · 0 评论 -
实战Kafka ACL机制
1.概述在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。2.内容2.2 身份认证Kafka的认证范围包含如下:Client与Broker之间Broker与Broker之原创 2022-03-02 10:26:32 · 511 阅读 · 0 评论 -
当kafka集群其中一台宕机后,集群不能正常工作(已解决)
当kafka集群其中一台宕机后,集群不能正常工作原创 2022-02-24 16:34:21 · 1502 阅读 · 0 评论 -
springboot整合kafka,实现消费者使用redis作为偏移量存储的库
springboot整合kafka,实现消费者使用redis作为偏移量存储的库原创 2022-01-03 14:44:35 · 1321 阅读 · 0 评论 -
Kafka Consumer 配置
Kafka Consumer 配置https://www.orchome.com/535原创 2022-01-03 14:38:26 · 1037 阅读 · 0 评论 -
Kafka常见的导致重复消费原因和解决方案
问题分析导致kafka的重复消费问题原因在于,已经消费了数据,但是offset没来得及提交(比如Kafka没有或者不知道该数据已经被消费)。总结以下场景导致Kakfa重复消费:原因1:强行kill线程,导致消费后的数据,offset没有提交(消费系统宕机、重启等)。原因2:设置offset为自动提交,关闭kafka时,如果在close之前,调用 consumer.unsubscribe() 则有可能部分offset没提交,下次重启会重复消费。例如:try { consumer.unsubs原创 2021-12-22 16:52:43 · 4349 阅读 · 0 评论 -
kafka压力测试(官方自带)
1、Kafka压测用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2、Kafka Producer压力测试在…/kafka/bin目录下[duoduo@hadoop100 kafka_2.11-2.4.0]$ bin/kafka-producer-perf-test.sh --top原创 2021-12-22 16:44:29 · 552 阅读 · 0 评论 -
kafka-eagle几个指标含义
1.Preferred Leader默认用Replicas副本集里的第一个副本作为leader。2.Brokers Spread看作broker使用率,如kafka集群9个broker,某topic有7个partition,则broker spread: 7 / 9 = 77%3.Brokers Skewpartition是否存在倾斜,如kafka集群9个broker,某topic有18个partition,正常每个broker应该2个partition。若其中有3个broker上的partiti原创 2021-12-22 16:02:44 · 273 阅读 · 0 评论 -
修改kafka中某一主题的数据存留时间
我们都知道,kafka中默认消息的保留时间是7天,若想更改,需在配置文件server.properties里更改选项:log.retention.hours=168但是有的时候我们需要对某一个主题的消息存留的时间进行变更,而不影响其他主题。且kafka集群不用重启可以使用命令:./kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name topicName --alter --add-config转载 2021-11-16 16:55:10 · 3507 阅读 · 0 评论 -
使用java在kafka中传输单条大于1M的数据
用久了kafka,我们都知道,在kafka的默认配置下,限制了数据传输的大小(默认情况下为1M),那么但我们需要单次传输超过1M的数据时,我们究竟该如何修改kafka的配置,让我们能够正常使用呢?这是本文即将要阐述的内容。一.修改kafka的配置文件 既然kafka默认配置是1M,那我们就来修改kafka的配置文件,让它能够支持我们传输超1M的数据,我们需要修改以下的三个配置文件:①修改kafka安装目录下的conf/server.properties 这里我们需要添加以下转载 2021-10-15 18:04:55 · 1645 阅读 · 0 评论 -
kafka auto.offset.reset值失效 earliest/latest详解
先看一下kafka官网对于auto.offset.reset=earliest/latest的详解earliest: automatically reset the offset to the earliest offset,翻译过来就是自动将偏移量置为最早的latest:automatically reset the offset to the latest offset 自动将偏移量设置为最新的可能大部分朋友都觉得在任何情况下把这两个值设置为earliest或者latest ,消费者就可以从最早或转载 2021-09-26 09:54:10 · 2088 阅读 · 0 评论 -
Kafka producer TimeoutException: Expiring 1 record(s)
1.问题描述:Kafka-configuration:spring.kafka.producer.retries=0spring.kafka.producer.batch-size=100000spring.kafka.producer.request.timeout.ms=30000spring.kafka.producer.linger.ms=10spring.kafka.producer.acks=0spring.kafka.producer.buffer-memory=33554432原创 2021-09-07 15:38:18 · 6384 阅读 · 0 评论 -
kafka提交偏移量失败导致重复消费
问题详情:org.springframework.kafka.KafkaException: Seek to current after exception; nested exception is org.apache.kafka.clients.consumer.CommitFailedException: Offset commit cannot be completed since the consumer is not part of an active group for auto parti原创 2021-09-06 15:41:29 · 10274 阅读 · 0 评论 -
Spring Boot 集成多个 Kafka
一、配置文件application.ymlspring: kafka: one: bootstrap-servers: IP:PORT consumer: group-id: YOUR_GROUP_ID enable-auto-commit: true two: bootstrap-servers: IP:PORT consumer: group-id: YOUR_GROUP_ID转载 2021-08-27 17:58:25 · 437 阅读 · 0 评论 -
不配置hosts文件,访问阿里云服务器hadoop集群的kafka
问题:没有配置hosts文件,不能向hadoop集群的kafka发送数据原因:1.阿里云服务器返回的是内网IP解决:1.检查阿里云服务器的防火墙,及访问策略。释放相关端口,否则将访问不到服务。2.要配置vi /etc/hosts外网ip : 主机名 比如 114.113.112.111 :kafka-test3.配hosts文件映射公网4.修改kafka/config/server.properties(将内网IP映射成外网ip)# The id of the broker.原创 2021-08-03 20:06:46 · 581 阅读 · 0 评论