Kafka
文章平均质量分 81
Wangqyoho
多思考。
展开
-
Kafka log结构解读
引言Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message。借用官方的一张图,可以直观地看到topic和partition的关系。partition是以文件的形式存储在文件转载 2017-02-08 21:05:48 · 2276 阅读 · 0 评论 -
Kafka分区策略浅谈
用过 Kafka 的同学用过都知道,每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息,我们也可能会启动多个 Consumer 去消费,而每个 Consumer 又会启动一个或多个消费线程去分别消费 Topic 里面的数据。Kafka 存在 Consumer Group 的概念,也就是 group.id 一样的 Consumer,这些 Consumer 属于同原创 2017-07-27 09:45:44 · 7707 阅读 · 0 评论 -
Kafka SimpleConsumer——buffersize?fetchsize?
感觉网上关于Kafka的资料特别少,在用Kafka0.8.2的low level API的时候遇到了SimpleConsumer和Fetch的初始化的时候碰到了几个size的设置,一直不知道设置对消费的影响:第一个是初始化SimpleConsumer时候的倒数第二个参数buffersizeSimpleConsumer consumer = new SimpleConsumer(lead原创 2017-03-06 10:17:26 · 2741 阅读 · 0 评论 -
Kafka:A Distributed Streaming Platform
最近开始学习Kafka,开头免不了要看一堆官方介绍和先驱者写的介绍博客,为了完整性,我也翻译+摘抄一些,保存做学习用。---------------分割线---------------------------------------Kafka作为一个分布式的流平台,这到底意味着什么?我们认为,一个流处理平台具有三个关键能力:发布和订阅消息(流),在这方面,它类似翻译 2017-02-08 20:54:33 · 1107 阅读 · 0 评论 -
Kafka中的coordinator
在0.9以前的client api中,consumer是要依赖Zookeeper的。因为同一个consumer group中的所有consumer需要进行协同,进行下面所讲的rebalance。但是因为zookeeper的“herd effect”与“split brain”,导致一个group里面,不同的consumer拥有了同一个partition,进而会引起消息的消费错乱。为此,在0原创 2017-02-09 11:00:28 · 6746 阅读 · 0 评论 -
Kafka 几个关键概念和采用策略
关键概念介绍topic以下是kafka的逻辑结构图: 每个topic也就是自定义的一个队列,producer往队列中放消息,consumer从队列中取消息,topic之间相互独立。broker与上图对应的是kafka的物理结构图:每个broker通常就是一台物理机器,在上面运行kafka server的一个实例,所有这些broker实例组成kafka的服务器原创 2017-02-09 10:31:08 · 6121 阅读 · 0 评论 -
Kafka:High level consumer vs. Low level consumer
Kafka中的消费者有两套API,分别是high level的和low level的。两种消费方式在构造和实现上都是不同的,在此记录一下:一、High level consumer APIHigh Level Consumer API围绕着Consumer Group这个逻辑概念展开,它屏蔽了每个Topic的每个Partition的Offset管理(自动读取zookeeper中该Consu原创 2017-10-26 21:06:36 · 4215 阅读 · 0 评论