Kafka简介

---

Kafka 概念

简介

Kafka是一个分布式的流处理平台。一个流处理平台通常有以下特征：

1. 发布和订阅消息流（类似于消息队列或者企业级的消息系统）
2. 以容错的、持久的方式存储消息流
3. 当消息流到来的时候，处理消息

Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统，其主要特点为：

1. 以**时间复杂度为O(1)**的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能
2. 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输
3. 支持Kafka Server间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输
4. 同时支持离线数据处理和实时数据处理

应用场景

1. 数据推送
2. 作为大缓冲区使用
3. 日志收集（scribe或者nginx）
4. 服务中间件

工作原理

Kafka是一个分布式系统，由通过高性能TCP网络协议进行通信的服务器和客户端组成。它可以部署在内部和云环境中的裸机硬件、虚拟机和容器上。

服务器：Kafka作为一个或多个服务器的集群运行，这些服务器可以跨越多个数据中心或云区域。其中一些服务器形成存储层，称为代理。其他服务器运行Kafka Connect以将数据作为事件流持续导入和导出，以将Kafka与你现有的系统（例如关系数据库和其他Kafka集群）集成。为了让您实现关键任务用例，Kafka集群具有高度的可扩展性和容错性：如果其中任何一个服务器出现故障，其他服务器将接管它们的工作，以确保连续运行而不会丢失任何数据。

客户端：它们允许您编写分布式应用程序和微服务，即使在网络问题或机器故障的情况下，它们也可以并行、大规模和容错方式读取、写入和处理事件流。Kafka附带了一些这样的客户端，这些客户端由Kafka社区提供的数十个客户端进行了扩充：客户端可用于Java和Scala，包括更高级别的Kafka streams库，用于GO、python、c/c++和许多其他编程语言以及REST API。

Kafka架构

从整体看

从整体来看Kafka就是一个消息队列。生产者往里面发消息，消费者从里面取消息。

Kafka集群

Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。

• Producer，Consumer 实现 Kafka 注册的接口。
• 数据从 Producer 发送到 Broker 中，Broker 承担一个中间缓存和分发的作用。
• Broker 分发注册到系统中的 Consumer。Broker 的作用类似于缓存，即活跃的数据和离线