kafka 总结

kafka 总体介绍

消息队列应用场景

异步解耦、广播发布订阅、 流量削锋 。

kafka企业使用方式

1.kafka topic 管理平台。包含topic 注册 管理，topic 消息结构体定义及其修改（topic 消息结构 定义为avro 结构。方便接入到大数据hive 里面。消息可以持久化到hbase中，最终可以通过ksql 查询）。

2.topic 消息监控。生成和消费情况监控hook等。

kafka 架构和功能介绍

角色分为集群、broker、 生产者、消费者、topic、消费组、消费者、pation。集群管理通过zk 管理。关系组织为一个集群由多个broker（实际物理节点）组成。每个borker 包含多个pation（消息队列 物理文件）。每个pation 有3个副本（可靠性）。一个kafka 集群有多个topic， 一个topic（逻辑消息队列） 可以有多个pation（表示一个实际物理队列），一个topic 有多个生产者和消费组，每个消费组相当于一个订阅者有自己消费offset。每个消费组可以有多个消费者，多个消费者在多个pation中负载均衡的消费消息，每个pation最多只有一个消费组中一个消费者消费。集群管理由zk 管理。生产者保证消息最多被传输一次，因为每条消息都有一个消息id。

一些问题

1.如何增加吞吐量

增加pation、增加生产者和消费者。

2.如何保证不重复消费

消息重复有个能是生产者生产重复。消费者根据应用自己保证，保证消费完后做offset commit。

3.提高消费速度

批量消费、自动commit，注意自己保证消息不丢。

4.生产者如何保证消费者已经消费