本文详细介绍了Kafka的基本概念，包括其设计原理、数据传输的事务特点以及消息存储格式。Kafka是一个分布式日志系统，常用于日志收集和消息服务，其高吞吐、消息持久化和分区消费等特点使其在分布式环境中广泛应用。文中还探讨了Kafka的消息保证级别，如at most once、at least once和exactly once，并强调在实际应用中，at-least-once通常是首选策略。
思维导图
前言
在很多时候，我们都可以在各种框架应用中看到ZooKeeper的身影，比如Kafka中间件，Dubbo框架，Hadoop等等。为什么到处都看到ZooKeeper？
目录
- Kafka的基本介绍
- Kafka的设计原理分析
- Kafka数据传输的事务特点
- Kafka消息存储格式
- 副本（replication）策略
- Kafka消息分组，消息消费原理
- Kafak顺序写入与数据读取
- 消费者（读取数据）
Kafka的基本介绍
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。
主要应用场景是：日志收集系统和消息系统。
Kafka主要设计目标如下：
- 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据
最低0.47元/天 解锁文章
5371
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
