kafaka-无限横向扩展消息中间件

本文参考文章：

http://www.cnblogs.com/likehua/p/3999538.html

简介

        kafka集群有多个实例组成，每个实例称为broker。
broker，producer和consumer都依赖zookeeper保存meta信息。
每个topic都有多个partition分区，每个分区保存在不同的server上
分区上每个消息都有一个offset（分区上消息是顺序的）
新消息时append到每个分区后面的
pull模式，非push模式（发布订阅）
生产者通过random，hash等模式把消息均衡发送到多个partition里面
每个分区又被分为多个segmentfile，名字为最小offset.kafka。
每个分区同一时刻只允许一个consumer连接，一个consumer同时可以连接多个分区。

复制备份