【Kafka】
Kafka深入
RobertLab
全栈不是一个岗位,而是一种思维。
展开
-
【Kafka】第三篇:Kafka核心知识点概览
一、Kafka工作流程 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文 件,该 log 文件中存储的就是 producer 生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端,且每条数据都有自己的 offset。 消费者组中的每个消费者,都会实时记录自己消费到了哪个 offset,以便出错恢复时,从上次的位原创 2020-08-06 09:47:34 · 543 阅读 · 2 评论 -
【Kafka】第二篇:Kafka入门
一、Kafka部署 略 二、Kafka常用命令 查看当前服务器中的所有 topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --list 创建topic bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-factor 3 --partitions 1 -- topic first 选项说明: --topic 定义 topic 名 --replication-f原创 2020-08-04 21:36:09 · 273 阅读 · 0 评论 -
【Kafka】第一篇:Kafka概述
一、定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于 大数据实时处理领域。 Kafka定义_百度百科 Kafka定义_官网 使用消息队列的好处: 解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 可恢复性:系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 缓冲:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处原创 2020-08-04 21:09:15 · 318 阅读 · 0 评论