MQ消息中间件
文章平均质量分 91
MQ消息中间件
君子一笑
这个作者很懒,什么都没留下…
展开
-
深入理解Kafka(四):消费者分区分配策略源码剖析
前言我们知道,Kafka有消费者组(Consumer Group)的概念:每个消费者属于一个消费者组 ,一个消费者组有多个消费者发布到topic的消息只能被每个订阅该topic的消费者组中的一个消费者消费不同消费者组中的消费者可以消费同一个topic下的消息但是消费者(Consumer)是如何知道要消费topic下哪个分区(partition)的消息的呢?每个分区和消费者之间的分配关...原创 2021-01-06 19:42:00 · 245 阅读 · 0 评论 -
深入理解Kafka(二):rebalance源码剖析
前言我们知道,Kafka有消费者组(Consumer Group)的概念:每个消费者属于一个消费者组 ,一个消费者组有多个消费者发布到topic的消息只能被每个订阅该topic的消费者组中的一个消费者消费不同消费者组中的消费者可以消费同一个topic下的消息但是消费者(Consumer)是如何知道要消费topic下哪个分区(partition)的消息的呢?每个分区和消费者之间的分配关...原创 2021-01-07 11:46:38 · 757 阅读 · 0 评论 -
深入理解Kafka(一):高性能揭秘
顺序写磁盘人们普遍认为“磁盘速度慢”,但根据《顺序磁盘访问在某些情况下可能比随机内存访问更快》描述,顺序写磁盘比随机写磁盘更快。Kafka采用磁盘的顺序写,实际上partition分区分为多个Segment,每个Segment对应一个物理文件,Kafka通过对Segment的追加写方式来实现磁盘的顺序写,从而避免随机写磁盘带来的寻址开销,提高了磁盘的访问速度。页缓存PageCache磁盘的...原创 2019-08-21 10:38:53 · 107 阅读 · 0 评论 -
Kafka入门(三):整合spring消息队列
1. Kafka安装Kafka安装请参考我的另一篇博客,本文不再叙述。2. 整合springboot和kafka搭建springboot项目,https://start.spring.io/快速生成maven项目,springboot已经包含kafka的自动化配置,现在只需要添加kafka依赖即可:@Transactional(rollbackFor = Exception.class)...原创 2019-08-19 15:43:39 · 99 阅读 · 0 评论 -
Kafka入门(二):集群搭建
1. Kafka集群安装官网下载Kafka或者点击这里下载,并解压到/usr/local/kafka/tar -xzf kafka_2.12-2.3.0.tgzKafka使用ZooKeeper,可以使用Kafka下载包中的脚本启动一个单节点zookeeper。bin/zookeeper-server-start.sh config/zookeeper.properties搭建本地集群...原创 2019-08-19 15:42:47 · 92 阅读 · 0 评论 -
Kafka入门(一):简介
简介1. 主要功能Kafka作为一个分布式的流平台,有三个主要的功能:发布和订阅消息流,类似于一个消息队列。以容错的方式存储消息流。在消息流发生时处理它们。2. 基本术语及解释Topic和Partitionstopic是一个类别,生产者发送消息的时候发送到指定的topic下,每个topic可以有多个分区( partition ),每一个分区( partition )都是一个...原创 2020-12-22 10:01:02 · 418 阅读 · 0 评论 -
深入理解Kafka(五):Topic分区数和consumer消费者
如何确定分区数Kafka中的消息数据是保存到各个Partition分区中的,Partition分区是Kafka并行化的基础,不同的Partition分区分布到各个Broker中,可以实现机器间的并行处理。同一Broker下的不同Partition分区分布到不同的磁盘驱动上,也可实现磁盘间的并行处理。所以,理论上Partition分区的个数决定了最大并行度。但是,分区数也不是越多越好。如何确认消...原创 2019-08-27 14:59:57 · 1449 阅读 · 0 评论 -
深入理解Kafka(三):生产者分区策略源码剖析
前言我们都知道Kafka中的topic和分区(partition)的概念,一个topic可以有一个或多个分区(partition),消息数据都是存储在分区(partition)中的,生产者(Producer)发送消息到topic,消费者(Consumer)从指定的topic中消费消息,但是生产者的消息是投递到topic下的哪个分区(partition)的?本文通过解读源码分析生产者(Produ...原创 2019-08-27 14:18:45 · 388 阅读 · 0 评论