Apache Kafka分布式发布 - 订阅消息系统mq

一. Kafka是干嘛的？
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

二. Kafka主要特性：
通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
高吞吐量 ：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息，而延迟只有几毫秒。
支持通过Kafka服务器和消费机集群来分区消息。
支持Hadoop并行数据加载。

三. Kafka适合以下应用场景：
消息系统：解耦生产者和消费者、缓存消息等；
用户活动跟踪：记录用户浏览和操作信息，通过发布和订阅进行数据处理；
运营指标：报警和报告；
日志收集；

四.kafka 的名字解析
1.Broker：Kafka服务器节点
2.Topic：消息分类标题
3.Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列；
4.Segment：partition物理上由多个segment组成，每个Segment存着message信息
5.Producer : 生产message发送到topic
6.Consumer : 监听生产者设置的topic，对message进行消费；

kafka 中一个partitions只能被一个consumer进行消费（多个consumer再同时消费一个partitions 会造成性能下降）；一个consumer可以消费多个partitions；

五.kafka的使用
kafka需要和zookeeper连用；

参考地址：
https://baike.baidu.com/item/Kafka/17930165?fr=aladdin
https://www.jianshu.com/p/6ac4dcfcdccf