关闭

kafka系列4-什么是kafka

169人阅读 评论(0) 收藏 举报

关于什么是kafka,看过一个简单例子。

举个例子,生产者消费者,生产者生产鸡蛋,消费者消费鸡蛋,生产者生产一个鸡蛋,消费者就消费一个鸡蛋,假设消费者消费鸡蛋的时候噎住了(系统宕机了),生产者还在生产鸡蛋,那新生产的鸡蛋就丢失了。再比如生产者很强劲(大交易量的情况),生产者1秒钟生产100个鸡蛋,消费者1秒钟只能吃50个鸡蛋,那要不了一会,消费者就吃不消了(消息堵塞,最终导致系统超时),消费者拒绝再吃了,”鸡蛋“又丢失了,这个时候我们放个篮子在它们中间,生产出来的鸡蛋都放到篮子里,消费者去篮子里拿鸡蛋,这样鸡蛋就不会丢失了,都在篮子里,而这个篮子就是”kafka“。
鸡蛋其实就是“数据流”,系统之间的交互都是通过“数据流”来传输的(就是tcp、http什么的),也称为报文,也叫“消息”。
消息队列满了,其实就是篮子满了,”鸡蛋“ 放不下了,那赶紧多放几个篮子,其实就是kafka的扩容。

当有多个消费者时,多加几个p,意味着可以并发去取,吞吐量就更大

所以通俗讲,kafka,它就是那个"篮子"。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

kafka和其他消息队列的对比

RabbitMQ和kafka从几个角度简单的对比 业界对于消息的传递有多种方案和产品,本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比, 在应用场景方面,...
  • u013939918
  • u013939918
  • 2017-04-29 12:34
  • 1644

分布式消息队列(Message Queue)系统:kafka扫盲

分布式系统很重要的一个设计原则是松耦合,即尽量减少子系统间的依赖。这样各个子系统可以相互独立的进行演进,维护,重用等。Message Queue (MQ)是一种很好的解耦手段。要了解MQ在系统整合中的...
  • jdbc
  • jdbc
  • 2014-10-01 12:01
  • 1820

分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖?

我们知道,在早期的RocketMQ版本中,是有依赖ZK的。而现在的版本中,是去掉了对ZK的依赖,转而使用自己开发的NameSrv。并且这个NameSrv是无状态的,你可以随意的部署多台,其代码也非常简...
  • chunlongyu
  • chunlongyu
  • 2017-01-04 13:24
  • 5510

Kafka系列4-基本概念及消费者组(Consumer Group)的理解

几个基本概念:     Kafka是一个分布式流数据系统,使用Zookeeper进行集群的管理。与其他消息系统类似,整个系统由生产者、Broker Server和消费者三部分组成,生产者和消费者...
  • kuluzs
  • kuluzs
  • 2017-05-04 16:10
  • 1943

apache kafka系列之log4j配置

kafka日志文件分为5种类型,依次为:controller,kafka-request,server,state-change,log-cleaner,不同类型log数据,写到不同文件中:
  • lizhitao
  • lizhitao
  • 2014-04-25 18:44
  • 11097

Apache Kafka源码剖析 part4

  • 2017-11-19 18:11
  • 100MB
  • 下载

《Apache Kafka源码剖析》.part4.rar

  • 4天前 19:27
  • 100MB
  • 下载

log4j写入kafka测试程序

  • 2016-11-11 17:12
  • 48.43MB
  • 下载

log4jappender配置kafka使用的jar包

  • 2017-09-08 14:07
  • 5.63MB
  • 下载

log4j+flume+kafka+storm

  • 2017-06-29 20:43
  • 115KB
  • 下载
    个人资料
    • 访问:46238次
    • 积分:839
    • 等级:
    • 排名:千里之外
    • 原创:42篇
    • 转载:9篇
    • 译文:1篇
    • 评论:1条