Kafka是一款高吞吐量的分布式消息系统，由LinkedIn开发，主要用于处理实时数据流。其核心特点是高吞吐量、低延迟、可扩展性和持久性。Kafka通过Producer、Broker、Consumer和Zookeeper构成其基本架构，支持异步批量发送，提供分区和副本机制以保证数据可靠性和容错性。消费者以消费者组的形式工作，保证每个分区只被组内一个消费者消费。Kafka的消息存储基于磁盘，通过索引和分段提高查找效率，并提供基于时间和大小的删除策略。此外，Kafka支持同步和异步发送，自定义序列化和分区策略，以及拦截器功能，为消息路由提供灵活性。
Kafka的设计思想及基本使用
1 Kafka的基本概念
1.1 Kafka基本概念
由于对JMS日常管理的过度开支和传统JMS可扩展性方面的局限，LinkedIn(www.linkedin.com)开发了Kafka以满足他们对实时数据流的监控以及对CPU、IO利用率等指标的高要求。在Linkedin开发Kafka之初，把关注重点集中在了这几个方面：
高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consumer操作。
可扩展性：kafka集群支持热扩展。
持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。
容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）。
高并发：支持数千个客户端同时读写。
一个最基本的架构是生产者发布一个消息到Kafka的一个主题（topic），这个主题即是由扮演
KafkaServer角色的broker提供，消费者订阅这个主题，然后从中获取消息，下面这个图可以更直观的描述这个场景。如图所示：
订阅专栏 解锁全文
735
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
