Docker Kafka手动重置 offset

最新推荐文章于 2024-04-23 16:48:28 发布
最新推荐文章于 2024-04-23 16:48:28 发布
阅读量904 收藏 1
点赞数 1
文章标签： kafka docker 分布式 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gwd777/article/details/128545843
版权

sudo docker ps #查询所有正在运行的容器信息

sudo docker exec -it yourContainerId /bin/sh #进入kafka容器

cd /opt/bitnami/kafka/bin #进入kafka工作目录

./kafka-topics.sh --zookeeper zookeeper:2181 --list #查看topic

#获取topic详情

./kafka-topics.sh --zookeeper zookeeper:2181 --describe --topic ether_topic_block

#设置消费组到任意的offset

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group yourGroupID --topic yourTopicName --reset-offsets --to-offset 2061170 --execute

./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group dwdGroup007 --topic yourTopicName --reset-offsets --to-offset 348196000 --execute

#查询kafka最大的offset

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic yourTopicName --time -1

#查询kafka最小的offset:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic yourTopicName --time -2

gwd777
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并stars数量多 进去看看使用 我们使用docker-compose来构建镜像 查看使用文档中的docker-compose.yml 因为kafka要搭配zookeeper一起使用，所以文档中包含了zookeeper 我修改了一下版本号 以及变量参数 这两个参数好像是可以暴露给外网访问的（从其他博客找到的答案，不设置spring kaf
Kafka-重置消费者offset到最新的位置
码者人生的技术博客
07-22 2386
获取topic下所有的partion 计算每个partion的offset 将分区offset移动最新的位置 提交分区最新的位置 如下代码 public class KafkaConsumerOffsetManager { private KafkaConsumer consumer; private String topic; public KafkaConsumerRunnable(KafkaConsumer consumer, String topic) {
KafkaConsumer重置Offset
weixin_43046724的博客
02-26 3601
在Kafka Version为0.11.0.0之后，Consumer的Offset信息不再默认保存在Zookeeper上，而是选择用Topic的形式保存下来。在命令行中可以使用kafka-consumer-groups的脚本实现Offset的相关操作。 更新Offset的三个维度： Topic的作用域 重置策略 执行方案 Topic的作用域 --all-topics：为consumer group下所有topic的所有分区调整位移） --topic t1 --topic t2：为指定的若干个to
kafka实战-消费者offset重置问题
u014755679的博客
02-07 4720
kafka消费者offset重置问题
kafka将offset自动重置为最新
weixin_34419326的博客
05-26 803
为什么80%的码农都做不了架构师？>>> ...
【Kafka】【十九】新消费组的消费offset规则
鸟人的博客
02-13 2820
新消费组中的消费者在启动以后，默认会从当前分区的最后⼀条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第⼀次从头开始消费。之后开始消费新消息（最后消费的位置的偏移量+1）
kafka不同分区重置offset
weixin_43225116的博客
02-08 4464
近期生产出现了因代码异常造成的数据消费错误问题 # kafka 问题整理如下： 1、因代码问题导致消费者在使用过程中逻辑不是幂等的，造成数据库插入数据，单kafka不提交offset，当再次启动kafka时，存在重复消费的情况，造成数据库流入脏数据 2、在修复数据的过程中，因kafka的offset错误重置，导致部分历史消息进行错误消费。 3、存在消费者因数据库链接等问题，造成在kafka允许时间内不进行提交，kafka进行重新分配的过程。 引出有关于kafka的相关问题 一、kafka的消息是如何生产
Kafka极客 - 15 重设消费者位移 Offset
你今天真好看呀
12-14 4170
反之，如果你的场景需要较高的吞吐量，但每条消息的处理时间很短，同时你又很在意消息的顺序，此时，Kafka 就是你的首选。有时候你可能会碰到这样的场景：你修改了消费者程序代码，并重启了消费者，结果发现代码有问题，你需要回滚之前的代码变更，同时也要把位移重设到消费者重启时的位置，那么，Current 策略就可以帮你实现这个功能。我们来看下它们的方法签名。我们知道，Kafka 和传统的消息引擎在设计上是有很大区别的，其中一个比较显著的区别就是，Kafka 的消费者读取消息是可以重演的（replayable）。
kafka重置到最新offset偏移量
weixin_30872671的博客
05-09 2072
小弟近日用kafka测试传输数据设置的单消费者，不料消费者头天晚上就挂掉了 ，重启消费者，因为auto.offset.reset 默认为latest，所以消费者从昨天晚上的数据接着消费，因为差了一晚上了，消费者一时半会追不上生产者的步伐，而我又需要实时展示数据，且又不能每次重启消费者重新赋予group.id。所以需要手动修改偏移量到最新。 最后通过以下代码解决问题 　　 Propertie...
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
02-05
bitnami-docker-kafka：用于Kafka的Bitnami Docker映像
kafka-0.9.0-重置offset-ResetOff.java
11-07
kafka-0.9.0-重置offset-ResetOff.java；
docker-kafka-connect:用于kafka-connect的Docker映像
05-09
docker-kafka-连接 Dockerized （分布式模式） 支持的标签 0.10.0.0 （2.11） 0.10.1.1 （2.11） 最新的0.10.2.0 （2.12） 快速开始 使用Docker Compose 像这样编写docker-compose.yml ，然后执行docker-...
kafka 的docker镜像
12-03
kafka的docker镜像包含了kafka，zookeeper 和kafkamanager，可以通过docker 来load 安装
系统运维系列 之Kafka手动设置offset（经典方法总结）
langxiaolin的博客
10-25 9557
1 问题背景 在使用Kafka消费数据过程中，消费程序可能出现运行问题，导致消费不及时，消息堆积很多；尤其是消息消费后需要进行一列后处理，这种情况下就需要考虑一些方法来进行消费参数的设置。 2 举例 测试集群中有3台服务器，分别设置为Kafka的3个分区，分别为分区1，分区2和分区3，由于消费者出现运行问题，导致无法消费数据或者仅消费1到2个分区的数据，这时候分区中堆积的数据很多，达到百万级别甚至千万级别，由于消息消费后需要进行后续处理，按照正常速度消费需要较长时间才可以消费完这些堆积数据，且消费过程中会影
kafka---命令使用
beiduofen2011的专栏
11-12 1332
新版本中：--bootstrap-server localhost:9092 可以替换老版本的--zookeeper localhost:2181 查找所有的topic kafka-topics.bat --bootstrap-server localhost:9092 --list __consumer_offsets（新版本把offset放到一个专门的topic中，老版本是存放在zookeeper里面） first testTopic 注意：是新版本把offset放到__co...
Java代码重置kafka0.10.1.0版本的偏移量offset
热门推荐
qq_34485626的博客
12-09 10万+
如果使用的自动提交偏移量的模式，偏移量会给到kafka或者zk进行管理，其中kafka的偏移量重置给了重新消费kafka内未过期的数据提供了机会，当消费者出错，比如消费了数据，但是中途处理失败，导致数据丢失，这时候重置偏移量就是一剂后悔药，让消费者能够重新来过，当然后悔药也是有保质期的，还得取决于数据的保留策略。 这里讨论一下kafka_2.11.0.10.1.0版本重置偏移量的方案 该版本kafka不像其他版本一样，通过执行一句方便的命令就可以重置到指定的偏移量，本文给出了一种通过Java代码来重置偏
springboot手动重置kafka的offset
weixin_43991475的博客
09-30 2677
直接上代码 @Autowired private KafkaListenerEndpointRegistry kafkaRegistry; @Autowired private ConsumerFactory<Object, Object> consumerFactory; /** * 设置一个监听器，消费kafka消息 * @param recored * @param offset * @param acknowledgment */ @KafkaLis
kafka 自动与手动管理offset
m0_55613022的博客
03-15 2676
前言 offset顾名思义，即偏移量，我们知道消息从生产者发送到kafka的topic之后，是进入到不同的分区，在consumer未对消息进行消费之前，消息是有序存储在各个分区中； offset内部原理 在之前我们了解了kafka的消费者原理之后，提出这样一个疑问，kafka怎么知道某个消费组中的消费者消费消息的进度呢？ 1、从0.9版本开始，consumer默认将offset保存在Kafka ，一个内置的topic中，该topic为__consumer_offsets； 2、 Kafka0.9版本之前，
如何在 Docker 和 DigitalOcean Kubernetes 上部署 Kafka
最新发布
DO_Community的博客
04-23 837
​在本教程中，你将学习如何使用 Docker Compose 部署 Kafka。你还将学习如何在 DigitalOcean Kubernetes 上使用Strimzi部署 Kafka，Strimzi 能够集成到 Kubernetes 中，并允许你使用常规 Kubernetes 清单配置和维护 Kafka 集群，无需手动操作。
docker 管理kafka查看消息offset位置
05-05
要管理 Kafka 的消息 offset，可以使用 Kafka 自带的命令行工具 kafka-consumer-groups.sh。首先，需要连接到运行 Kafka 的 Docker 容器中。假设容器名称为 my-kafka，可以使用以下命令连接到该容器： ```bash ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值