Kafka
文章平均质量分 94
邋遢-大王
这个作者很懒,什么都没留下…
展开
-
kafka-存储原理-机制、结构及底层原理
我们知道Kafka中的消息是存储在磁盘上的,那么为什么要使用磁盘作为存储介质?具体消息的存储格式又是什么呢?怎么样能够快速检索到指定的消息?消息不可能无限制存储,那么清理规则又是什么呢?1.1 Kafka-存储机制、结构log.dirs=/usr/local/var/lib/kafka-logskafka 使用日志文件的方式来保存生产者和发送者的消息,每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据,为了避免日志文件过大,一个分片 并不是.原创 2021-02-26 16:01:01 · 3131 阅读 · 0 评论 -
Kafka基础架构分析、集群策略及zookeeper定位
这节课我主要对kafka的基础架构进行分析,详细讲解架构中涉及的概念与理论1.kafka基础架构分析Kafka起初是由LinkedIn公司采用Scala语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统.Producer:生产者,也就是发送消息的一方。生产者负责创建消息,然后将其投递到Kafka中Consumer:消费者,也就是接收消息的一方。消费者连接到Kafka上并接收消息,进而进行相应的业务逻辑处理Broker:大多数情况下也可以将Broker看作原创 2021-02-26 15:57:50 · 474 阅读 · 0 评论