Kafka学习笔记
文章平均质量分 93
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”,这使它作为企业级基础设施来处理流式数据非常有价值。
风向决定发行D
在读硕士
展开
-
Kafka学习笔记(4)Kafaka中消费者,分区策略和offset
消费方式 consumer 采用 pull(拉)模式从 broker 中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成 consumer 来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而 pull 模式则可以根据 consumer 的消费能力以适当的速率消费消息。 pull 模式不足之处是,如果 kafka 没有数据,消费者可能会陷入循环中,一直返回空数据。针对这一点,Kafka 的消费者在原创 2021-05-05 14:28:27 · 880 阅读 · 2 评论 -
Kafka学习笔记(3)Kafaka中的存储机制及生产者
kafka-topics.sh --list --zookeeper h71:2181原创 2021-04-25 00:40:51 · 469 阅读 · 1 评论 -
Kafka学习笔记(2)Kafaka基础架构及安装
准备 需要准备3个服务器节点;每个节点需提前安装好zookeeper,安装zookeeper可以参考另一篇文《Zookeeper-3.6.1安装》,也可以直接用kafka自带的;原创 2021-03-04 14:03:38 · 356 阅读 · 1 评论 -
Kafka学习笔记(1)Kafaka应用场景及基本架构
kafka概述 Kafka是一个分布式系统,由通过高性能TCP网络协议进行通信的服务器和客户端组成,是一个基于发布/订阅模式的消息队列(MQ)。它可以部署在内部以及云环境中的裸机硬件,虚拟机和容器上。 服务器:Kafka作为一台或多台服务器的集群运行,可以跨越多个数据中心或云区域。其中一些服务器构成了存储层,称为代理。其他服务器运行 Kafka Connect来连续导入和导出数据作为事件流,以将Kafka与现有系统集成在一起,例如关系数据库以及其他Kafka群集。为了实现关键任务用例,Kafka群集具有高度原创 2020-11-04 14:44:58 · 1119 阅读 · 2 评论