kafka
文章平均质量分 61
loveLifeLoveCoding
这个作者很懒,什么都没留下…
展开
-
kafka消费者未接收到消息问题
今天出现了这样一个问题, A说他的kafka消息发送了;B说它没有接收到;好,带着上面的问题,我们来一步步排查一下问题所在。转载 2022-10-23 14:52:59 · 6270 阅读 · 0 评论 -
kafka手动修改消费者偏移量
确定topic作用域——当前有3种作用域指定方式:--all-topics(为consumer group下所有topic的所有分区调整位移),--topic t1 --topic t2(为指定的若干个topic的所有分区调整位移),--topic t1:0,1,2(为指定的topic分区调整位移)--to-datetime :把位移调整到大于给定时间的最早位移处,datetime格式是yyyy-MM-ddTHH:mm:ss.xxx,比如2017-08-04T00:00:00.000。转载 2022-09-04 19:28:10 · 931 阅读 · 0 评论 -
kafka全部数据清空与某一topic数据清空一过期数据清理
1. #停止kafkabin/kafka-server-stop.sh 2. # 删除主题/kafka-topics.sh --zookeeper node:2181 --delete --topic test 3. # 查看kafka topickafka-topics.sh --list --zookeeper node:2181查看当前所有topic 比如目前需要删除test这一topic,目前kafka_2.11-1.1.1以上版本默认delete.topic.enable=true,转载 2022-07-10 23:34:20 · 4721 阅读 · 0 评论 -
Kafka启动关闭及其相关命令
先cd到kafka目录,如 1、启动 1、启动zookeeper常规模式启动bin/zookeeper-server-start.sh config/zookeeper.properties进程守护模式启动nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/dev/null 2>&1 & 2、启动kafka常规模式启动bin/kafka-server-start.sh config/server.propert转载 2022-07-10 23:23:47 · 12149 阅读 · 1 评论 -
小内存运行kafka
小内存运行kafka – 哈呜.王https://www.hawu.me/operation/785再检查kafka的源码,定位到KafkaServer.scala的589行附近。kafka在创建LogManager对象的时候,使用了这个cleanerConfig,并且用到了几个关于size的配置,而且这几个配置没有出现在server.properties文件中,估计使用了默认值。再kafka的官方文档可以查到这个logCleanerDedupeBufferSize默认134217728字节,128MB了。转载 2022-06-12 21:43:07 · 181 阅读 · 0 评论 -
kafka 配置文件参数详解
官方文档:Apache Kafkahttps://kafka.apache.org/20/documentation.htmlkafka的配置分为 broker、producter、consumer三个不同的配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。转载 2022-06-12 21:39:05 · 886 阅读 · 0 评论 -
win10 启动kafka报错 另一个程序正在使用此文件,进程无法访问
问题描述: win10启动kafka报错原因: 可能是由于非正常关闭, 导致kafka无法完成对日志文件的解锁解决方法: 错误信息中指出了日志的存放路径, 我这里是d:\work\data\kafka-logs, 将这个目录下的所有文件删除后重新启动kafka即可 或者只删除报错的目录即可:例 d:\work\data\kafka-logs__consumer_offsets-39\原创 2022-06-02 15:19:01 · 2161 阅读 · 0 评论