![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 83
Java硬件工程师
中国科学技术大学毕业,原支付宝Java开发工程师,立志做一名资深全栈工程师
展开
-
kafka生产者
在文件存储机制中,我们了解到,通过二分查找法,找到是哪一个index,从index中找到,你要访问的消息的那条数据,然后根据这条消息的内容,然后再log文件中定位到数据的内容。 1 分区策略 1)分区的原因 (1)方便在集群中扩展,每个 Partition 可以通过调整以适应它所在的机器,而一个 topic又可以有多个 Partition 组成,因此整个集群就可以适应任意大小的数据了; 提高负载能力 (2)可以提高并发,因为可以以 Partition 为单位读写了。 2)分区的原则 我们需要将 produc原创 2021-04-20 22:41:37 · 380 阅读 · 3 评论 -
kafka工作流程及文件存储机制
1.kafka工作流程 如图topicA有3个分区,每个分区有两个副本(包含一个leader,一个follower),发送消息可以一个一个的发送,也可以批量发送,0,1,2这种是offset偏移量,每一个分区里面都维护者一个从0开始的偏移量。作为follower,应该主动的从leader中备份过来。当然中间也可能丢失数据。消费者会找到leader拉取数据。 Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partit原创 2021-04-20 16:02:33 · 114 阅读 · 0 评论 -
kafka快速入门
1 安装部署 1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 1.2 jar 包下载 http://kafka.apache.org/downloads.html 1.3 集群部署 1)解压安装包 [atguigu@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/原创 2021-04-20 15:17:33 · 78 阅读 · 2 评论 -
kafka概述
1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 2 消息队列 2.1 传统消息队列的应用场景 MQ传统应用场景之异步处理 先进先出 使用消息队列的好处 1)解耦 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2)可恢复性 系统的一部分组件失效时,不会影响到整个系统。消息队列降低了进程间的耦合度,所以即使一个处理消息的进程挂掉,加入队列中的消息仍然可以在系统恢复后被处理。 3)缓冲 有助于控制和优化数据原创 2021-04-14 12:11:37 · 146 阅读 · 0 评论