kafka
文章平均质量分 66
longG_It
这个作者很懒,什么都没留下…
展开
-
Kafka结构以及各个组件的形象理解以及内部执行机制
1.Apache Kafka 是分布式发布-订阅消息系统(消息中间件),是一种快速、可扩展、分区的和可复制的提交日志服务。2.一个特别好的例子:举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋, 消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生 产鸡蛋,那新生...原创 2018-10-09 18:25:45 · 293 阅读 · 0 评论 -
Kafka原理
1.Kafka的拓扑结构一个典型的 Kafka 集群中包含若干 Producer,若干 broker(Kafka 支持水平扩展, 一般 broker 数量越多,分区越多,集群吞吐率越高),若干 Consumer Group,以及一个 Zookeeper 集群。Kafka 通过 Zookeeper 管理集群配置,选举 leader。Producer 使用 push 模式将消息发布到 broker...原创 2018-10-10 22:16:42 · 222 阅读 · 0 评论 -
项目中为什么通常flume和kafka要共同使用
系统架构方面的考虑:(1)如果系统比较简单,应用场景比较单一,从简化系统的角度考虑,在满足应用需求的情况下可能只使用一个比较好。(2)但是考虑到现有系统业务发展,为了后面的灵活扩展,在先用系统设计时留有一定的扩展性感觉更重要,(3)可能使用Flume+kafka架构相对只使用Kafka会多占用1-2台机器做Flume日志采集,但是为了方便以后日志数据处理方式的扩展,可以采用Flume+kaf...原创 2018-10-21 10:25:48 · 5806 阅读 · 3 评论