![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
MQ
武汉红喜
专注于消息中间件
展开
-
rocketmq-spring-boot-starter使用指南
https://github.com/apache/rocketmq-spring.git针对官方starter修改点 官方支持连接多个集群(订阅) (官方一个应用只能连接一个集群)顺序消息消费失败,可配重试次数 (非顺序消息默认重试16次,每次时间延后)发送延时消息方法参数优化(魔法参数改为枚举)优化getMessageType方法,支持 MyConsumer extends Abs...原创 2019-01-09 16:24:02 · 86535 阅读 · 36 评论 -
RocketMQ客户端简单封装
public class ClientConfig { protected String namesrvAddr = System.getProperty(MixAll.NAMESRV_ADDR_PROPERTY, System.getenv(MixAll.NAMESRV_ADDR_ENV)); protected String instanceName = System.ge...原创 2019-01-09 16:17:09 · 3002 阅读 · 0 评论 -
开发者如何玩转 RocketMQ?附最全源码解读 【Remoting篇】
借用一句话“消息队列的本质在于消息的发送、存储和接收”。那么,对于一款消息队列来说,如何做到消息的高效发送与接收是重点和关键。前排友情提示:这是一篇很硬的干货。 RocketMQ中Remoting通信模块概览 RocketMQ消息队列的整体部署架构如下图所示: 先来说下RocketMQ消息队列集群中的几个角色: NameServer:在MQ集群中做的是...转载 2019-01-24 15:59:50 · 1333 阅读 · 0 评论 -
RocketMQ吐血总结
RocketMQ吐血总结架构 概念模型最基本的概念模型与扩展后段概念模型 存储模型 RocketMQ吐血总结User GuideRocketMQ是一款分布式消息中间件,最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统,满足线上海量消息堆积的需求, 在2016年底捐赠给Apache开源基金会成为孵化项目,经过不到一年时间正式成为了A...原创 2018-12-09 20:36:36 · 154815 阅读 · 49 评论 -
RocketMQ消费失败消息深入分析
前言消息队列是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题。目前在生产环境,使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ等。由于每个消息队列都有它的优势和劣势,我们公司对于不同的场景使用了不同类型的消息队列。对于RocketMQ消费端存在消息消费失败的情况,通常有两种方式,一种是consumer端知道怎么...转载 2018-12-14 21:31:09 · 6820 阅读 · 0 评论 -
Apache kafka原理与特性(0.8V)
https://shift-alt-ctrl.iteye.com/blog/1930345前言: kafka是一个轻量级的/分布式的/具备replication能力的日志采集组件,通常被集成到应用系统中,收集"用户行为日志"等,并可以使用各种消费终端(consumer)将消息转存到HDFS等其他结构化数据存储系统中.因为日志消息通常为文本数据,尺寸较小,且对实时性以及数据可靠性要求不严格,但是...转载 2018-12-19 22:27:34 · 369 阅读 · 0 评论 -
ActiveMQ架构设计与最佳实践
ActiveMQ是最常用、特性最丰富的消息中间件,通常用于消息异步通信、调用解耦等多种场景,是JMS规范的实现者之一。 一、架构设计概要 ActiveMQ提供两种可供实施的架构模型:“M-S”和“network bridge”;其中“M-S”是HA方案,“网络转发桥”用于实现“分布式队列”。 1、M-S Master-Slave模型下,通常需要2+个Ac...原创 2017-09-10 19:05:09 · 1993 阅读 · 0 评论 -
分布式开放消息系统(RocketMQ)的原理与实践
备注:1.如果您此前未接触过RocketMQ,请先阅读附录部分,以便了解RocketMQ的整体架构和相关术语2.文中的MQServer与Broker表示同一概念 分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件,需要具有高吞吐量、高可用等特点。而谈到消息系统的设计,就回避不了两个问题: 1消息的顺序问题 2消息的重复问题 RocketMQ作为阿里开源的一款高性能、高吞吐量的消...转载 2017-09-04 15:09:04 · 370 阅读 · 1 评论 -
RocketMQ架构模块解析
RocketMQ是一个分布式开放消息中间件,底层基于队列模型来实现消息收发功能。RocketMQ集群中包含4个模块:Namesrv, Broker, Producer, Consumer。Namesrv: 存储当前集群所有Brokers信息、Topic跟Broker的对应关系。 Broker: 集群最核心模块,主要负责Topic消息存储、消费者的消费位点管理(消费进度)。 Producer...原创 2017-06-09 13:27:23 · 17032 阅读 · 2 评论 -
RocketMQ高并发读写
RocketMQ的并发读写能力扛住了2016年双十一,每秒17.5万笔订单的创建(单笔订单衍生出N条消息,实际tps是17.5*n 万),下面对其高并发读写原理进行探讨。主要体现在两方面:客户端收发消息,服务器接收消息并持久化(重点)。客户端(RocketMQ-client)1,客户端发送消息有负载均衡,客户端内存中保存着当前所有的服务器列表,每次发送都切换一台服务器发送消息,使得每台服务...原创 2017-06-09 13:28:27 · 16942 阅读 · 3 评论 -
你好,RocketMQ
http://rocketmq.apache.org/编者按这些年开源氛围越来越好,各大IT公司都纷纷将一些自研代码开源出来。2012年,阿里巴巴开源其自研的第三代分布式消息中间件——RocketMQ。经过几年的技术打磨,阿里称基于RocketMQ技术,目前双十一当天消息容量可达到万亿级。2016年11月,阿里将RocketMQ捐献给Apache软件基金会,正式成为孵化项目。阿里称会将其打造成顶级...转载 2017-06-06 20:08:26 · 1431 阅读 · 0 评论 -
【转】ActiveMQ中Producer特性详解
http://shift-alt-ctrl.iteye.com/blog/2034440 (deep.hongxi.org) 前言 从本文中你可以得到如下几个问题的解答: 1) 设定消息的时间戳有什么作用 2) 消息的timeToLive与过期原理 3) Producer同步、异步发送消息,以及调优 4) 消息priority与顺...转载 2018-03-09 17:49:44 · 322 阅读 · 0 评论 -
京东JMQ如何保证消息顺序消费
[京东技术]在要求严格顺序消息的场景下,消息的发送者,BROKER端(BROKER端和消息存储放在一起),消息的消费者都要求按照顺序进行,三者任何一个环节的乱序都会导致消息最终的消费顺序被打乱。如果为每一个消息维护一个有序的ID,发送和存储消息无序,消费逻辑会变得非常复杂,消费端要对消息进行重新编排,会影响消费的性能。为了保证消息发送、保存、消费三个环节都有顺序,就要求在同一个时刻只能有一个同步发...原创 2017-01-13 19:39:24 · 3994 阅读 · 0 评论 -
京东消息中间件JMQ
[京东技术]京东的MQ经历了JQ->AMQ->JMQ的发展,其中JQ的基于关系数据库,严格意义上讲称不上消息中间件,JMQ的存储是JFS和HBase,AMQ即ActiveMQ,本文说说JMQ。JMQ是京东自主研发的一款消息中间件系统,具有高可用、数据高可靠等特性。广泛应用于公司内部系统,包括订单、支付、库房等场景。整体结构 系统包括服务端、客户端、管理端与其他支撑模块。 ...原创 2017-01-13 19:37:03 · 9577 阅读 · 6 评论 -
京东消息中间件的演进
[京东技术]转载务必声明 本文转载自IPD-Chat,IPD-Chat为京东商城基础平台部门官方公众号,扫一扫二维码进行关注。 本文将简单介绍下京东消息中间件的演进历程。以及作为消息中间件在每一代产品中我们是如何解决MQ面临的一些通用问题,比如:如何处理IO,消息如何存储,消息如何路由等等。 我们在开始之前要明确一些基本概念:Broker:消息中间件服务端的一个实例;Producer:消息的发...原创 2017-01-13 19:34:27 · 2562 阅读 · 1 评论 -
ActiveMQ与虚拟通道
郑重提示,本文转载自http://shift-alt-ctrl.iteye.com/blog/2065436 ActiveMQ提供了虚拟通道的特性(Virtual Destination),它允许一个逻辑通道(logical destination)映射成一个或者多个物理通道(physical destination);它可以非常灵活的解决"消息整合"方面的问题,它可以实现: 1...转载 2018-03-23 14:43:18 · 372 阅读 · 0 评论 -
RabbitMQ基础概念详细介绍
你是否遇到过两个(多个)系统间需要通过定时任务来同步某些数据?你是否在为异构系统的不同进程间相互调用、通讯的问题而苦恼、挣扎?如果是,那么恭喜你,消息服务让你可以很轻松地解决这些问题。消息服务擅长于解决多系统、异构系统间的数据交换(消息通知/通讯)问题,你也可以把它用于系统间服务的相互调用(RPC)。本文将要介绍的RabbitMQ就是当前最主流的消息中间件之一。RabbitMQ简介AMQP,即Ad...转载 2018-03-23 14:41:17 · 324 阅读 · 0 评论 -
【转】ActiveMQ消息传送机制以及ACK机制详解
本文转载自 http://shift-alt-ctrl.iteye.com/blog/2020182AcitveMQ是作为一种消息存储和分发组件,涉及到client与broker端数据交互的方方面面,它不仅要担保消息的存储安全性,还要提供额外的手段来确保消息的分发是可靠的。 一. ActiveMQ消息传送机制 Producer客户端使用来发送消息的, Consumer客...原创 2018-03-09 17:42:44 · 516 阅读 · 0 评论 -
ActiveMQ - JMS,Transport,Persistence
关键字: JMS 1 JMS 在介绍ActiveMQ之前,首先简要介绍一下JMS规范。1.1 JMS的基本构件1.1.1 连接工厂 连接工厂是客户用来创建连接的对象,例如ActiveMQ提供的ActiveMQConnectionFactory。 1.1.2 连接 JMS Connection封装了客户与JMS提供者之间的一个...原创 2018-03-09 17:44:59 · 177 阅读 · 0 评论 -
ActiveMQ - Clustering,Features,Wildcards
关键字: Clustering 2.5 Clustering ActiveMQ从多种不同的方面提供了集群的支持。2.5.1 Queue consumer clusters ActiveMQ支持订阅同一个queue的consumers上的集群。如果一个consumer失效,那么所有未被确认(unacknowledged)的消息都会被发送...原创 2018-03-09 17:46:55 · 165 阅读 · 0 评论 -
【转】ActiveMQ中Consumer特性详解与优化
http://shift-alt-ctrl.iteye.com/blog/2035321 (deep.hongxi.org) 前言 从本文中你可以了解到如下内容: 1) consumer端消息消费的模型,session的运作机制 2) 如果提升broker和consumer端消息消费的速率 3) selector,group,exclusive...转载 2018-03-09 17:49:37 · 502 阅读 · 0 评论 -
JMS 概述
本文转载自http://shift-alt-ctrl.iteye.com/blog/1902820一.JMS使用场景: JMS是为"消息"而生,从使用的角度来说,任何可以与业务解耦的数据均可以作为"消息"存储;任何结构化(格式严格,适合解析)但未索引化(不能被随意检索)的数据均可以交付给JMS存储,但尽管JMS不是为存储而生. 1) 异构系统(应用)中,如果数据的交互...转载 2016-01-22 09:42:36 · 569 阅读 · 0 评论