![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
文章平均质量分 83
消息队列
败给你的黑色幽默丶
if i say you're the one would you believe me;
if i ask you to stay would you show me the way
展开
-
Kafka06_ 高效读写数据
参考:快手面试题详解: Kafka为什么能那么快的6个原因 1)顺序写磁盘 Kafka的producer生产数据,要写入到log文件中,写的过程是一直追加到文件末端,为顺序写。官网有数据表明,同样的磁盘,顺序写能到600M/s,而随机写只有100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。 2) Page Cache Cache 层在内存中缓存了磁盘上的部分数据。当数据的请求到达时,如果在 Cache 中存在该数据且是最新的,则直接将数据传递给用户程序,免除了对底层磁盘原创 2021-08-19 09:52:37 · 65 阅读 · 0 评论 -
【Kafka】【05】消费者 & Rebalance机制
消费方式 consumer采用pull(拉)模式从broker中读取数据。 push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由broker决定的。它的目标是尽可能以最快速度传递消息,但是这样很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。 pull模式不足之处是,如果kafka没有数据,消费者可能会陷入循环中,一直返回空数据。针对这一点,Kafka的消费者在消费数据时会传入一个时长参数t原创 2021-08-18 18:02:27 · 623 阅读 · 0 评论 -
【kafka】【04】文件存储机制 & 生产者
1. Kafka文件存储机制 从图中可以获取的信息: 1.producer和consumer group进行写入和读取都是面向副本中的leader 2.同一个分区的不同副本不可以存储在同一个broker上 3.同一个broker上没有对topic和分区的限制,一个broker上可以有多个topic,也可以有一个topic的多个partition 4.消息是以topic进行分类的; kafka数据存储机制 topic是逻辑上的概念,而partition是物理上的概念 (1)追加写入的log文件 每个p原创 2021-08-17 09:23:18 · 139 阅读 · 0 评论 -
【Kafka】【02】安装部署
Kafka 下载 http://kafka.apache.org/downloads.html 集群部署 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 集群安装及配置 kafka版本说明 以kafka_2.11-2.4.1.tgz为例,2.11是kafka版本,2.4.1是编写kafka的scala版本 1.安装 1)解压安装包 [user1@hadoop102 softwa原创 2021-08-16 17:39:14 · 104 阅读 · 0 评论 -
【kafka】【03】命令行操作
1.kafka-topics.sh 1)查看当前服务器中的所有topic bin/kafka-topics.sh --zookeeper hadoop102,hadoop103,hadoop104:2181/kafka --list bin/kafka-topics.sh --bootstrap-server hadoop102,hadoop103,hadoop104:9092 --list 2) 查看某个Topic的详情 kafka-topics.sh --zookeeper hadoop102:21原创 2021-08-16 20:59:30 · 118 阅读 · 0 评论 -
【Kafka】【01】概述 架构成员
第一章 概述 1.kafka消息队列 (1)kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域 2. 消息队列的优点 1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 2)缓冲 有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。 峰值处理能力 在访问量原创 2021-08-16 13:06:12 · 77 阅读 · 0 评论