kafka相关内容

看过太多次kafka的内容，每次看过都会忘记。这次详细记录下自己记得已经理解的东西。借鉴于<kafka权威指南>

1、kafka组成 

    kafka包括生产者、消费者、broker、zk、topic。

2、搭建kafka

    影响到kafka效率的有网络的吞吐量、硬盘吞吐量(SSD)、CPU的性能、内存的大小。一台机器的内存只需要留一点点给系统用，其他的内存可以给kafka用来做页面缓存，所以不建议kafka和其他项目混合搭建在一套机器内。

多个broker就构成了kafka集群，节点需要奇数个，便于使用一致性算法进行选举等，但是也不能多于7个，会导致一致性算法耗时太久，耽误时间。搭建过程中，可以设置topic消息保存的时长以及多大的量，两个标准都符合就会进行清理。

kafka使用zk保存元数据和消费者信息 2.1.3

3、topic

    生产者发送消息，消费者接受消息。新建topic的时候，设置partition数量，数量越大能够应付的消费者group就越多，有利于增加消息的处理速度，增加消费者的吞吐量。所有partition可以都在一个broker里面，如果有多个broker，就会均匀分到多个broker减少broker的处理压力。同时设置副本数量，此间所有的topic副本，每个分区的副本都在不同的broker里面。按照顺序或者轮询进行区分配。例如有3个brokerABC，topicA划分了6个partitionABCDEF，2个副本partitionA1A2，则分配可能是这样的：