Kafka基本概念

是一个分布式、可分区、可复制的消息系统，主要用于处理活跃的流式数据。

工作原理

Kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错能力

Kafka中的zookeeper的用途

正如zookeeper用于分布式系统的协调和促进，Kafka使用也是基于这一原因，zookeeper用户管理、协调Kafka代理

基本特性

可扩展      在不需要下线的情况下可以进行扩容；数据流分区（partition）存储在多台机器上

高性能      单个broker就能服务上千个客户端；单个broker每秒钟可读写每秒几百兆字节；多个brokers组成的集群将达到非常强的吞吐能力；性能稳定，无论数据量多大

持久存储   存储在磁盘上；冗余备份到其他服务器上以防数据丢失

消息格式

一个topic对应一种消息格式，因此消息用topic分类

一个topic代表的消息有一个或者多个partition（s）组成

一个partition中

  *一个partition应存放在一到多个server上

        。如果只有一个server，就没有冗余备份，是单机而不是集群

        。如果有多个server

                . 一个server为leader

                . 其他server为follows

                .leader需要接收读写请求

                .follows仅作冗余备份

                .leader出现故障，会自动选举一个follow作为leader，保证服务不中断

                .每个server都可能扮演一些partitions的leader和其他partitions的follow角色，这样整个集群就会达到负载均衡的状态

  *消息按顺序存放

  *消息顺序不可变

  *只能追加消息，不能插入

  *每个消息都有一个offset，用作消息ID，在一个partition中唯一

   *offset由consumer保存和管理，因此读取顺序实际上是完全由consumer决定的，不一定是线性的

  *消息有超时日期，过期则删除

生产者 producer

  *生产者将消息写入kafka

  *写入要制定topic和partition

  *消息如何分发到不同的partition，算法由producer决定

消费者 consumer

  *读取消息并作处理

  *consumer group

    - 这个概念的引入为了支持两种场景：每条消息分发一个消费者，每条消息广播给所有消费者

    - 多个consumer group订阅一个topic，该topci的消息广播给所有consumer group

    - 一条消息发送到一个consumer group后，只能由该group的一个consumer接收和使用

    -  一个group中的每个consumer对应一个partition可以带来如下好处

                  @可以按照partition的数目进行并发处理

                  @ 每个partition都只有一个consumer读取，因而保证了消息被处理的顺序是按照partition的存放顺序进行，注意这个顺序受到producer存放消息的算法影响

kafka是分布式架构，producer、broker（Kafka）和consumer都可以有多个。Kafka的作用类似于缓存，即活跃的数据和离线处理系统之间的缓存。几个基本概念：

（1）message（消息）是通信的基本单位，每个producer可以向一个topic（主题）发布一些消息。如果consumer订阅了这个主题，那么新发布的消息就会广播给这些consumer。

（2）Kafka是显式分布式的，多个producer、consumer和broker可以运行在一个大的集群上，作为一个逻辑整体对外提供服务。对于consumer，多个consumer可以组成一个group，这个message只能传输给某个group中的某一个consumer.