Kafka
文章平均质量分 76
Lucky_TaoZi
这个作者很懒,什么都没留下…
展开
-
Kafka 核心概念
1 Producer 生产者创建消息。 该角色将消息发布到 Kafka 的 topic 中。broker 接收到生产者发生的消息后,broker 将该消息追加到当前用于追加数据的 segment 文件中。 通常情况下,在生成消息时我们都会指定将消息发布到哪个主题上,如果没有指定主题,消息会被发送到一个默认的主题上。 消息分区规则: 默认消息分区器如果在发布消息的时候指定了分区的话,消息会被路由到指定的分区上; 默认消息分区器如果没有指定分区,指定了消息的键,则对消息键进行散列,对散列值和当前分区数进行取余原创 2021-03-13 17:48:10 · 93 阅读 · 0 评论 -
Kafka 基础架构
1 消息和批次 Kafka 的数据单元称为消息。可以把消息理解看成是数据库里的一个数据行或一条记录。消息由字节数组组成。 消息有键,键也是一个字节数组。当没有指定消息的分区时,通过键,可以使消息以一种可控的方式写入到分区中。 为了提高吞吐量,Kafka 中消息被分批写入,批次越大,单位时间内处理的消息就越多,单个消息的传输时间就越长(即消息的处理时延越长)。批次数据会被压缩,可以节省带宽和磁盘空间,但消息的压缩和解压需要消耗更多的 CPU 资源。 2 模式 模式指通过什么样的方式对消息进行序列化和反序列化,原创 2021-03-13 15:58:36 · 103 阅读 · 0 评论 -
Kafka 介绍
1 介绍 Kafka 是一个分布式、分区的、多副本的、多生产者、多订阅者,基于 Zookeeper 协调的分布式日志系统,也可以当作 MQ 系统。 常见用法:用于收集 web/nginx 日志,访问日志,消息服务等等。 主要应用场景:日志收集和消息系统。 2 Kafka 主要设计目标 以时间复杂度为 O(1) 的方式提供消息持久化能力。即使 TB 级以上的数据也能保证数据的访问性能; 高吞吐量。非常廉价的机器上也能做到单机支持每秒 100K 条消息的传输。 支持 Kafka Server 间的消息分区,及原创 2021-03-13 14:55:57 · 327 阅读 · 0 评论