Kafka这些知识知道吗?

Kafka：

1. 定位：分布式的消息队列系统，同时提供数据分布式缓存功能（默认7天）削峰，解耦（高内聚，低耦合）
2. 消息持久化到磁盘，达到O(1)访问速度，预读和后写，对磁盘的顺序访问（比内存随机访问还要快）
3. Streaming（分布式的实时计算框架）
   Kafka目标成为队列平台
4. 基本组件：
   Broker：每一台机器是一个Broker
   Producer：日志消息生产者，主要写数据
   Consumer：日志消息消费者，主要读数据
   Topic：是虚拟概念，不同的consumer去指定的topic去读数据，不同producer可以往不同的topic去写（发布消息）
   Partition：是实际概念，文件夹，是在Topic的基础上做了进一步分层
   message：offset,key.value,timestamp
5. Partition功能：负载均衡，需要保证消息的顺序性
   顺序性的保证：订阅消息是从头往后读取的，写消息是尾部追加，所以整体消息是顺序的
   如果有多个partiton存在，可能会出现顺序不一致的情况，原因：每个Partition相互独立
6. Topic：逻辑概念
   一个或多个Partition组成一个Topic
7. Partition以文件夹的形式存在
8. Partition有两部分组成：
   （1）index log：（存储索引信息，快速定位segment文件）
   （2）message log：（真实数据的所在）
9. 参考HDFS多副本的方式来完成数据高可用
   如果设置一个Topic，假设这个Topic有5个Partition，3个replication，此时该topic共有15个partition
   Kafka分配replication的算法：
   假设：
   将第i个Partition分配到(i % N)个Broker上 10%3 取模（取余）
   将第i个Partition的第j个replication分配到( （i+j） % N)个Broker上
   虽然Partition里面有多个replication
   如果里面有M个replication，其中有一个是Leader，其他M-1个follower
10. zookeeper保证系统的可用性，zk中会保存一些meta信息（topic）
11. 物理上，不同的topic的消息肯定是分开存储的
12. 偏移量——offset：用来定位数据读取的位置
13. kafka内部最基本的消息单位——message
14. 传输最大消息message的size不能超过1M，可以通过配置来修改
15. Consumer Group
16. 传输效率：zero-copy
    0拷贝：减少Kernel和User模式上下文（context）的切换
    直接把disk上的data传输给socket（套接字），而不是通过应用程序来传输
17. Kafka的消息是无状态的，消费者必须自己维护已消费的状态信息（offset）
    减轻Kafka的实现难度
18. Kafka内部有一个时间策略：SLA——消息保留策略（消息超过一定时间后，会自动删除）
19. 交付保证：
    at least once：至少一次（会有重复、但不丢失）
    at most once：最多发送一次（不重复、但可能丢失）
    exactly once：只有一次（最理想），目前不支持，只能靠客户端维护（去重操作）
20. Kafka集群里面，topic内部由多个partition（包含多个replication），达到高可用（HA）的目的：
    日志副本：保证可靠性
    角色：主、从
    ISR：是一个集合，只有在集合中的follower，才有机会被选为leader
    如何让leader知道follower是否成功接收数据（心跳，ack）
    如果心跳正常，代表节点活着
21. 怎么算“活着”
    （1）心跳
    （2）如果follower能够紧随leader的更新，不至于被落的太远
    如果一旦挂掉，从ISR集合把该节点删除掉