kafka
wending-Y
这个作者很懒,什么都没留下…
展开
-
kafka 线上消费积压问题
线上实战kafka 消费积压问题原创 2024-04-28 22:46:36 · 337 阅读 · 3 评论 -
如何解决kafka rebalance导致的暂时性不能消费数据问题
如何解决kafka rebalance导致的暂时性不能消费数据问题原创 2024-03-26 22:48:49 · 378 阅读 · 1 评论 -
Kafka 一次性语义实现
幂等生产者会分配 生产者ID,序列号pid,seqbroker 维护<Pid,分区> 的序列号新序列号=老序列号+1 接受新序列号<老序列号+1 丢弃,证明数据重复了新序列号>老序列号+1 抛出乱序异常,证明中间的数据丢失了只能处理单个topic,单分区的,消息不重复事务保证了原子性,所有的消息要么全部成功,要么全部失败生产者配置//幂等producerProps.put("enable.idempotence", "true");//事务IDprodu原创 2020-06-22 12:19:19 · 413 阅读 · 0 评论 -
Kafka Log结构
TopicPartitionLog每个partition对应Loglog和index对应关系为稀疏索引原创 2020-06-21 15:34:16 · 252 阅读 · 0 评论 -
编译 kafka manager 源码
kafka managerkafka manager 作为监控kafka的开源监控软件,非常好用,之前网上下载了一个别人编译好的版本,那个版本太老了,在kafka 0.10上面会一直报错,导致在监控界面上看不到消费者,也看不到offset,所以我觉得下载源码来自己亲自编译一次1.下载源码git clone https://github.com/yahoo/kafka-manager.git...原创 2019-06-23 12:01:17 · 1263 阅读 · 3 评论 -
Kafka 从指定Timestamp开始消费
思路服务端设置修改server.properties 增加 log.message.timestamp.type=LogAppendTime具体可参考http://kafka.apache.org/0100/documentation.html#introduction参考代码public class ConsumerTimeStamp extends Thread { ...原创 2019-06-03 17:21:21 · 12548 阅读 · 6 评论 -
Kafka auto.offset.reset
思考今天突然想起一个问题,Kafka的消费offset在程序重启后,是接着上次消费的地方继续消费的,那auto.offset.reset 这个参数到底是什么意思呢??分析总结只有当group 找不到合法的offset,才会启用auto.offset.reset...原创 2019-06-05 22:51:14 · 392 阅读 · 0 评论 -
kakfa 从0开始消费,从指定offset开始消费
1.从0开始消费 TopicPartition partition = new TopicPartition("order", 0); consumer.assign(Arrays.asList(partition)); consumer.seekToBeginning(Arrays.asList(partition)); while (tru...原创 2019-04-06 18:40:47 · 3243 阅读 · 0 评论 -
kafka 集群测试
1.ISR集合2.消费者3.brokers leader4.zookeeper原创 2018-01-02 23:23:09 · 852 阅读 · 0 评论 -
kafka 分布式安装
1.wget https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz 2.这里我用了两台机器,在两台机器下分别解压,放在自己想要的安装目录下(假设zookeeper集群搭好,可参考http://blog.csdn.net/qq_22222499/article/details/64132859) 3原创 2017-12-24 15:21:49 · 240 阅读 · 0 评论 -
Flume+Kafka+Storm
本篇主要讲述,flume收集日志数据,这里写了脚本,日志数据每隔一秒写入一条记录,flume将记录写到Kafka中,供Storm进行处理,这里的storm,可参考的我的其它文章,这里就不讲了。产生数据脚本。 python脚本#!/usr/bin/pythonimport timefile1=open("/opt/app/log.log","a");mess="message";file原创 2017-06-07 17:52:35 · 357 阅读 · 0 评论 -
eclipse搭建kafka开发环境
下载源文件,包括源代码,和二进制版本的。以kafka-0.10.0.1为例解压源代码,把源代码中的示例文件,大概路径是examples下,点到kafka时,直接点复制,把代码复制到eclipse中,建立项目,我建立的动态web项目,直接把二进制版本包中lib下的jar全部得到到web项目下lib目录下。如图所示 4.在linux中建立一下topic 5.代码要修改下可以参考我的Prod原创 2017-06-05 21:45:42 · 3943 阅读 · 0 评论