kafka
文章平均质量分 89
你不是叶秋
Just for fun
展开
-
kafka学习(四)---kafka工作流和消息存储
之前有说到过 kafka 的架构图,根据架构图 kafka 工作流程可以表达为下图机制。流程已经很清楚,生产者写消息到 kafka 集群,消费者 [组] 从 kafka 集群中消费消息。另外,其中的 0,1,2...就是消息的 offset,保存在 partition 中。其中有几点值得注意:1.为了容灾,leader 和 follower 一定不在同一个 broker 内。2.生产者写入和消费者消费的 partition 对象都是leader,而 follower 则主动与 lead.原创 2020-08-29 16:32:15 · 239 阅读 · 0 评论 -
kafka学习(三)--生产消息和消费消息
上一讲说 --describe 可以省略 --topic ,没有报错,这里看看两者区别因此,要查看特定的 topic 信息,建议加上 --topic原创 2020-08-22 17:39:08 · 1204 阅读 · 0 评论 -
kafka学习(二)--topic 的增删查操作
kafka 的 topic 支持增(create)删(delete)改(alter)查(describe)操作。./kafka-topics.sh [--help] 可以查看 kafka-topics 命令的使用方法注意:敲命令的时候不要敲错否则会报错还不知道自己错哪儿了,比如这样比如这样为此还专门看一下下载的版本,确认是稳定版没错了!--list(查)和 --describe(查)--list 查看目前所有的 topic 有哪些--describe 查...原创 2020-08-22 13:38:46 · 449 阅读 · 0 评论 -
kafka学习---安装与部署
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”大规模发布/订阅模式是生产者生产的消息可以多个消费者(订阅者)消费该消息,这里面又有两种模式:消费者主动拉取消息和消息主动推送。相对于大规模发布/订阅模式,还有点对点模式,这种模式下,消息只能被一个消费者消费,不能实现消息的复用。本质上说,kafka是一个消息队列,也就是原创 2020-08-18 21:09:06 · 397 阅读 · 0 评论