消息中间件
文章平均质量分 73
消息中间件
Peter Pan 1231
结硬寨 打呆仗 WebChat JianLong1231
展开
-
Kafka深入学习笔记(一) 总览
Kafka深入学习笔记系列 总览目录Kafka深入学习笔记系列 总览一、定义二、消息队列1. 使用消息队列的好处2. 消息队列的两种模式(1) 点对点模式(2) 发布/订阅模式三、Kafka基础架构1.Producer: 消息生产者2.Consumer: 消息消费者3.Consumer Group (CG): 消费者组4.Broker: 一台 kafka 服务器就是一个 broker5.Topic: 一个队列6.Partition: 分区7..原创 2021-05-17 16:39:43 · 320 阅读 · 1 评论 -
IT老齐架构300讲笔记(077) 几张图讲明白RocketMQ高可用方案
目录一、RocketMQ有哪些角色二、RocketMQ消息生产消费流程三、Broker主挂了RocketMQ怎么办四、Broker主从都挂了RocketMQ怎么办五、NameServer挂了RocketMQ怎么办六、同步复制与异步复制之间的区别于应用场景专栏链接: IT老齐架构300讲笔记一、RocketMQ有哪些角色二、RocketMQ消息生产消费流程三、Broker主挂了RocketMQ怎么办不会进行自动的主从切换四、Broker..原创 2022-01-24 23:27:38 · 2957 阅读 · 0 评论 -
IT老齐架构300讲笔记(048) 为什么Kafka这么快,解密Kafka高性能背后的秘密
目录一、Kafka实现高性能二、Kafka所做的优化2.1 磁盘顺序读写2.2 页缓存2.3 零拷贝(操作系统级别)2.4 批量操作一、Kafka实现高性能磁盘顺序读写 页缓存 零拷贝 批量操作Kafka 吞吐量大,并行处理抢 RocketMQ 高压水枪,高并发峰值处理BATJ 每小时产生数TB数据,对于Kafka这种大吞吐量设计自然是最佳选择二、Kafka所做的优化2.1 磁盘顺序读写2.2 页缓存Kafka避.原创 2022-01-17 18:09:03 · 353 阅读 · 0 评论 -
IT老齐架构300讲笔记(046) 宜信如何利用RabbitMQ队列解决消息积压问题
目录一、待优化场景二、初步优化方案三、继续优化方案四、死信一、待优化场景每天上午10点,全国2万多名客户经理集中录入上一日JK单据到BorrowSale系统,峰值能达到500单/s。但信审系统任务重,最多只支持到60单/s,每日会导致大量消息积压二、初步优化方案 最简单办法:RabbitMQ改为工作队列模式,将消息送给9个信审系统实例并行完成。但信审系统不愿配合,以预算不足为由拒绝,作为BS前台就得自己想办法解决消息积压问题三、继续优化方案BS.原创 2022-01-17 15:23:56 · 337 阅读 · 0 评论 -
高并发系统设计学习笔记(十六) 消息队列秒杀时如何处理每秒上万次的下单请求
目录一、削去秒杀场景下的峰值写流量二、通过异步处理简化秒杀请求中的业务流程三、解耦实现秒杀系统模块之间松耦合四、课程小结一、削去秒杀场景下的峰值写流量00:00分秒杀活动准时开始,用户瞬间向电商系统请求生成订单,扣减库存,用户的这些写操作都是不经过缓存直达数据库的。1秒钟之内,有1万个数据库连接同时达到,系统的数据库濒临崩溃,寻找能够应对如此高并发的写请求方案迫在眉睫。在秒杀场景下短时间之内数据库的写流量会很高,那么依照我们以前的思路应该对数据做分库分表。如果已经做了分库分表原创 2021-08-05 16:28:39 · 281 阅读 · 0 评论 -
高并发系统设计学习笔记(十八) 消息队列如何降低消息队列系统中消息的延迟
目录一、消息延迟场景二、如何监控消息延迟三、减少消息延迟的正确姿势1.消费端2.消息队列(1)消息的存储(2)零拷贝技术四、课程小结一、消息延迟场景在你的垂直电商项目中,你会在用户下单支付之后向消息队列里面发送一条消息,队列处理程序消费了消息后会增加用户的积分或者给用户发送优惠券。用户在下单之后,等待几分钟或者十几分钟拿到积分和优惠券是可以接受的,但是一旦消息队列出现大量堆积,用户消费完成后几小时还拿到优惠券,那就会有用户投诉了。二、如何监控消息延迟监控.原创 2021-08-06 16:33:39 · 230 阅读 · 0 评论 -
IT老齐架构300讲笔记(045) RabbitMQ六种队列模式与应用场景
目录一、RabbitMQ二、RabbitMQ的六种队列模式2.1 简单模式2.2 工作队列模式2.3 发布订阅模式2.4 路由模式2.5 主题模式2.6 RPC同步通信(阻塞)一、RabbitMQProducer:生产者,消息的提供者 Consumer:消费者,消息的使用者 Broker:MQ服务器,管理队列、消息及相关信息 Message:消息,程序间的通信的数据 Queue:队列,消息存放的容器,消息先进先出 Exchange:交换机,用于分发消息原创 2022-01-17 15:00:45 · 933 阅读 · 0 评论 -
Kafka深入学习笔记(七) Kafka监控系统Eagle
Kafka深入学习笔记系列 Kafka监控系统Eagle目录Kafka深入学习笔记系列 Kafka监控系统Eagle一、Eagle环境搭建1.安装Docker & Docker Compose2.Git Clone Repo3.启动项目4.访问本地URL二、使用Eagle1.BScreen 总览2.Topic 话题信息3.Cluster 集群信息4.Metrics 统计信息5.Alarm 警报6.System 系统信息一、Eagle环境..原创 2021-05-18 18:29:07 · 783 阅读 · 0 评论 -
Kafka深入学习笔记(六) Kafka高效读写 & Zookeeper & 事务
Kafka深入学习笔记系列 Kafka高效读写 & Zookeeper & 事务一、Kafka高效读写1.顺序写磁盘Kafka 的 producer 生产数据,要写入到log文件中,写的过程是一直追加到文件末端, 为顺序写。官网有数据表明,同样的磁盘顺序写能到 600M/s,而随机写只有 100K/s。这与磁盘的机械机构有关,顺序写之所以快,是因为其省去了大量磁头寻址的时间。2.零复制技术二、Zookeeper 在 Kafka 中的作用Kafka 集群中有..原创 2021-05-18 15:39:37 · 212 阅读 · 0 评论 -
Kafka深入学习笔记(五) 消费者Consumer深入剖析
Kafka深入学习笔记系列 消费者Consumer深入剖析目录Kafka深入学习笔记系列 消费者深入剖析一、 消费方式二、 分区分配策略1. RoundRobin2. Range三、offset维护笔记来源:学习尚硅谷Kafka系列视频一、 消费方式Consumer采用Pull(拉)模式从broke中读取数据。Push(推)模式很难适应消费速率不同的消费者,因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息,但是这样很容易造成 c..原创 2021-05-18 15:27:18 · 251 阅读 · 1 评论 -
Kafka深入学习笔记(四) 生产者Producer深入剖析
Kafka深入学习笔记系列 生产者深入剖析目录Kafka深入学习笔记系列 生产者深入剖析一、分区策略1.分区的原因2.分区的原则二、数据的可靠性保证1.副本数据同步策略2.ISR (in-sync replica set)3.ack应答机制4.故障处理细节(1)Follower故障(2)Leader故障三、Exactly Once笔记来源:学习尚硅谷Kafka系列视频一、分区策略1.分区的原因1.方便在集群中扩展 每个 Partit...原创 2021-05-18 10:19:13 · 436 阅读 · 1 评论 -
Kafka深入学习笔记(三) Kafka工作流程
Kafka深入学习笔记系列 Kafka工作流程目录Kafka深入学习笔记系列 Kafka工作流程一、工作流程图二、Kafka文件存储机制笔记来源:学习尚硅谷Kafka系列视频一、工作流程图Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic 的。topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 producer 生产的数据..原创 2021-05-17 17:28:29 · 305 阅读 · 0 评论 -
Kafka深入学习笔记(二) Kafka常用命令
Kafka深入学习笔记系列 Kafka常用命令目录Kafka深入学习笔记系列 Kafka常用命令1.查看当前服务器中的所有 topic2.创建 topic3.删除topic4.发送消息5.消费消息6.查看某个 Topic 的详情7.修改分区数笔记来源:学习尚硅谷Kafka系列视频1.查看当前服务器中的所有 topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --list2.创建 topicbi..原创 2021-05-17 16:53:57 · 226 阅读 · 0 评论 -
滴滴Logi-KafkaManager学习(一) Mac搭建滴滴Logi-KafkaManager环境
滴滴Logi-KafkaManager学习 Mac搭建滴滴Logi-KafkaManager环境一. Logi-KafkaManager简介滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验,是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家知名企业达成商业化合作。1.体验地图(1)用户体验地图平台租户.原创 2021-05-10 15:58:03 · 565 阅读 · 0 评论 -
Kafka Mac 本地环境搭建记录
Kafka Mac 本地环境搭建记录目录Kafka Mac 本地环境搭建记录Step 1 预安装docker compseStep 2 更新docker-compose.yml参数Step 3 启动集群Step 4 测试Kafka集群本文使用开源框架kafka-docker在本地Mac环境搭建基于Docker容器的kafka环境 https://github.com/wurstmeister/kafka-dockerStep 1 预安装docker compsehttps原创 2021-05-10 14:52:49 · 119 阅读 · 0 评论 -
Spring Boot 中使用 Kafka
个人学习SpringBoot系列 Kafka篇Github Link: https://github.com/panjianlong13/SpringBoot-SpringCloud/tree/master/spring-boot-kafkaKafka介绍Kafka 是什么Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,Linkedin于201...原创 2018-12-06 10:05:49 · 2898 阅读 · 0 评论