Kafka
文章平均质量分 73
myllxy
欢迎关注知乎专栏:https://www.zhihu.com/column/c_1274036496291827712
展开
-
Kafka常见报错警告异常解决案例
1.自行修改server.properties中broker id后造成与meta.properties中数据不匹配kafka.common.InconsistentBrokerIdException: Configured broker.id 2 doesn’t match stored broker.id 1 in meta.properties. If you moved your da...原创 2018-12-26 20:17:12 · 11838 阅读 · 0 评论 -
Kafka工作流程分析
一.Kafka生产过程分析1.写入方式producer采用push模式将消息发送到broker,每条消息都被追加(append)到分区中,属于顺序写磁盘(顺序写磁盘效率要比随机写内存要高,保障Kafka吞吐率)。2.分区消息发送时都被发送到一个topic,其本质就是个目录,而topic是由一些分区日志组成1)分区的原因(1)方便在集群中扩展,每个分区可以通过调整以适应它所在...原创 2018-12-16 16:14:02 · 934 阅读 · 0 评论 -
Flume与Kafka集成
一.区别与联系Flume:cloudera公司研发,适合多个生产者(多个生产者对应多个agent),适合下游消费者不多的情况(因为每个消费者对应一个sink和一个chanel),适合数据安全性要求不高的操作(数据保存在内存中),适合与Hadoop生态圈对接的操作。Kafka:LinkedIn公司研发,适合数据下游消费者众多的情况(因为Kafka可以采用pull模式),适合数据安全性要求高的...原创 2018-12-29 15:11:36 · 781 阅读 · 0 评论 -
Kafka重复消费同一Topic数据
在 高级API 中,消费者要从头开始消费某个 topic 的全量数据,需要满足2个条件:(1)使用一个全新的"group.id"(就是之前没有被任何消费者使用过);(2)指定"auto.offset.reset"参数的值为earliest;“What to do when there is no initial offset in Kafka or if the current of...原创 2019-05-19 16:53:55 · 11369 阅读 · 0 评论 -
kafka 消费者offset记录位置和方式
我们大家都知道,kafka消费者在会保存其消费的进度,也就是offset,存储的位置根据选用的kafka api不同而不同。首先来说说消费者如果是根据javaapi来消费,也就是【kafka.javaapi.consumer.ConsumerConnector】,我们会配置参数【zookeeper.connect】来消费。这种情况下,消费者的offset会更新到zookeeper的【consum...转载 2019-05-20 17:37:28 · 3338 阅读 · 0 评论