kafka之基础知识

最新推荐文章于 2024-07-21 22:12:51 发布

jannals

最新推荐文章于 2024-07-21 22:12:51 发布

阅读量176

点赞数 1

分类专栏： # Kafka实战

本文链接：https://blog.csdn.net/usagoole/article/details/103605979

版权

9 篇文章 1 订阅

订阅专栏

架构

kafka中消息以topic(主题)为单位进行归类，Producer负责将消息发送到特定的Topic，Consumer订阅topic并进行消费。
topic是一个逻辑概念，一个topic可以分为多个分区，一个分区只属于一个topic。分区在物理上是一个可追加的日志文件，消息在被追加到分区日志文件时都会分配一个特定的offset（偏移量），offset时消息在分区中的唯一标识，offset不能跨域分区，即kafka只保证分区有序而不保证主题有序，除非topic只有一个分区。
分区可以分布在不同的broker上，即一个topic可以横跨多个broker。kafka通过增加分区的数量可以实现水平扩展。

kafka在设计之初就考虑4个方面的问题
- 吞吐量/延时
- 消息持久化：主要就是实现灵活的消息处理，比如重新消费消息（message replay）
- 负载均衡和故障转移
- 伸缩性

对于kafka而言，吞吐量就是每秒处理的消息或者每秒能够处理的字节数。延时表示客户端发起请求到服务端处理请求并响应给客户端的时间。
如果kafka处理一条消息需要2ms，则吞吐量每秒不会超过500条消息/秒（所有消息延迟2ms，吞吐量500条/s），但是如果采用批处理的方式，一次发送一批消息，即所有消息都延迟假设10ms，那么延迟就增加了4倍，假设8ms内总共累积1000条消息，那么系统的吞吐量就是100000条消息/秒（所有消息延迟8ms，吞吐量100000条/s）。
kafka如何实现高吞吐低延时？
- kafka写入操作采用追加写入（顺序写），避免磁盘随机写操作（磁盘顺序读写操作非常快）
- kafka写入操作是写入到操作系统的Page Cache中，由操作系统定时刷新到磁盘中
- kafka读取消息首先尝试从Page Cache中读取，如果命中则直接从Page Cache发送到Socket Buffer，不需要经过应用程序Buffer（Zero Copy）。

发行编译版本,前面的2.10表示的是scala版本

kafka_2.10-0.10.2.1.tgz (asc, md5)
kafka_2.11-0.10.2.1.tgz (asc, md5)
kafka_2.12-0.10.2.1.tgz (asc, md5)

Confluent Kafka与Apache Kafka
- 在 2014年 JayKreps、 JunRao和 NehaNarkhede离开 Linkedln公司创办了Confluent.io
- Confluent基于 Apache Kafka提供了Confluent Platform，提供了一些 Apache Kafka 没有的组件和功能，比如完善的跨数据中心数据备份以及集群监控解决方案等。
- Confluent 分为开源版本和企业版本。在企业版本中它提供了对于底层 Kafka 集群完整的可视化监控解决方案，以及一些辅助系统帮助管理集群。 Confluent 的开源版本与Apache Kafka 并无太大的区别，

关注

专栏目录