消息队列
文章平均质量分 78
以实战为线索,逐步升入各个环节。
试剑江湖。
做你没做过的事叫成长,做你不愿意做的事叫改变,做你不敢做的事叫突破。
展开
-
消息队列之关于如何实现延时队列
首先它要具有队列的特性,再给它附加一个延迟消费队列消息的功能,也就是说可以指定队列中的消息在哪个时间点被消费。下订单成功后,在30分钟内没有支付,自动取消订单外卖平台发送订餐通知,下单成功后60s给用户推送短信。如果订单一直处于某一个未完结状态时,及时处理关单,并退还库存淘宝新建商户一个月内还没上传商品信息,将冻结商铺等用户登录之后5分钟给用户做分类推送;用户多少天未登录给用户做召回推送;关闭空闲连接。服务器中,有很多客户端的连接,空闲一段时间之后需要关闭之。原创 2023-12-23 22:30:53 · 274 阅读 · 0 评论 -
【kafka】kafka开发常见问题汇总
采坑及解决办法:1.kafka 问题 (localhost/127.0.0.1:9092) could not be established. Broker may not be availab转载 2021-04-10 16:00:10 · 497 阅读 · 0 评论 -
【消息队列】RocketMQ 配置文件broker
broker主要涉及broker 配置文件、broker 启动流程、broker延迟消息、broker消息存储。原创 2021-01-14 16:34:56 · 1335 阅读 · 0 评论 -
【消息队列】RabbitMQ和KafKa基础
RabbitMQ是由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上。kafka是采用Scala语言开发,它主要用于处理活跃的流式数据,大数据量的数据处理上转载 2020-04-11 10:11:01 · 292 阅读 · 0 评论 -
【消息队列】RocketMQ 使用过程中遇到的问题
一、问题汇总(1)service not available now, maybe disk full, CL: 1.00 CQ: 1.00 INDEX: 1.00, maybe your broker machine memory too small 问题原因:该报错由于 /store/commitlog文件夹下的日志文件过大造成df -h 指令查看当前磁盘占用内存情况 rocketmq默认会把剩余磁盘的比率不足75% 当做磁盘空间不足处理解决办法:先删除掉/st...原创 2021-01-11 16:21:48 · 3052 阅读 · 0 评论 -
【kafka】kafka文件存储机制
Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。转载 2021-01-17 15:28:20 · 212 阅读 · 0 评论 -
【kafka】Kafka 快速入门
1. kafka简介Kafka 是由Linkedin公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布订阅模式的消息引擎系统。kafka官网:http://kafka.apache.org/ kafka下载页面:http://kafka.apache.org/downloads kafka配置快速入门:http://kafka.apache.org/quickstart...转载 2021-04-10 01:17:01 · 1196 阅读 · 1 评论 -
【消息队列】基于SSD的Kafka应用层缓存架构设计与实现(美团)
Kafka出色的I/O优化以及多处异步化设计,相比其他消息队列系统具有更高的吞吐,同时能够保证不错的延迟,十分适合应用在整个大数据生态中。转载 2021-01-17 15:57:36 · 295 阅读 · 0 评论 -
【消息队列】RocketMQ 集群可视化监控和管理
一、准备工程git clone https://github.com/apache/rocketmq-externals.gitcd rocketmq-externals/rocketmq-consolemvn package -DskipTestsjava -jar target/rocketmq-console-ng-1.0.1.jar ---server.port=8080 --rocketmq.config.namesrvAddr=127.0.0.1:9876访问:htt...原创 2021-01-11 11:31:32 · 844 阅读 · 0 评论 -
【消息队列】RocketMQ 基础知识扫盲
一、前言消息队列顾名思义就是存放消息的队列,所以问题并不是消息队列是什么,而是:消息队列为什么会出现? 消息队列能用来干什么? 用它来干这些事会带来什么好处? 消息队列会带来副作用吗?下面分别解析:1.消息队列为什么会出现?消息队列算是作为后端程序员的一个必备技能吧,因为分布式应用必定涉及到各个系统之间的通信问题,这个时候消息队列也应运而生了。可以说分布式的产生是消息队列的基础,而分布式怕是一个很古老的概念了吧,所以消息队列也是一个很古老的中间件了。2. 消息队列能用来做什...转载 2021-01-11 22:43:46 · 1267 阅读 · 0 评论 -
【最佳实践】从生产故障解锁RocketMQ集群部署的最佳实践
一、前言临近年末笔者维护的生产MQ集群中的一台物理机内存故障导致操作系统异常重启,在10分钟内众多的应用发送客户端出现消息发送超时,事故并定性为S1,笔者的“年终奖”...1.1 故障描述RocketMQ 集群采取的部署架构为2主2从,其部署架构如下图所示:其部署架构中一个非常明显的特点是一台物理机上分别部署了 nameserver,broker 两个进程。其中一台机器(192.168.3.100)的内存出现故障,导致机器重启,但Linux操作系统由于重启需要自检等因素,整个重启过程转载 2021-01-12 20:58:15 · 317 阅读 · 1 评论 -
【消息队列】搭建RocketMQ源码环境
提到消息队列(Message Queue),大家都会想到常见的那几种,比如:Kafka、RabbitMQ、RocketMQ、ActiveMQ、ZeroMQ、MetaMQ等,当然还有很多企业内部自研了适用于公司业务的MQ系统。作为分布式系统的重要组件,MQ常用于系统间的解耦,以及削峰填谷、异步处理等场景。我们学习MQ,不仅要学会如何去使用,更要深入学习MQ的设计思想,以及MQ的实现原理。上述常见的MQ组件中,笔者推荐大家对阿里巴巴的RocketMQ进行深入学习,它是Java语言实现,并且经历了“双十一...转载 2021-01-12 09:56:37 · 328 阅读 · 0 评论