MQ中间件
琅琊山二当家
这个作者很懒,什么都没留下…
展开
-
RabbitMQ Spring AMQP
Spring AMQP Project将Spring的核心观念应用于基于AMQP协议的消息解决方案,它包括两部分:spring-amqp是基础抽象,spring-rabbit是基于RabbitMQ的实现。特征: 1)提供了一个”模板”RabbitTemplate来发送和接收消息 2)使用Listener Container用于异步处理进来的消息 3)使用RabbitAdmin自转载 2016-04-12 21:16:29 · 664 阅读 · 0 评论 -
RocketMQ概念模型(good)
转载:https://blog.csdn.net/binzhaomobile/article/details/73332463RocketMQ概念模型一 前言 对于任何一款中间件产品而言,清晰的概念模型是帮助用户正确理解使用它的关键。由于RocketMQ并没有遵循业界现有的JMS或AMQP规范,而且功能集比后两者更加丰富,描述该中间件产品的概念模型是一项比较有挑战的任务。RocketMQ的官方文...转载 2018-05-25 16:39:41 · 416 阅读 · 0 评论 -
RocketMQ(四)——消息重试(包含生产 消费端的写法)
转载: https://blog.csdn.net/zhanglianhai555/article/details/77162208?ref=myrecommend一、 Producer端重试二、 Consumer端重试1. Exception2. Timeout总结对于MQ,可能存在各种异常情况,导致消息无法最终被Consumer消费掉,因此就有了消息失败重试机制。很显示,消息重试分为2种:Pr...转载 2018-05-28 10:04:00 · 2148 阅读 · 0 评论 -
RocketMQ初步应用架构理论(主从切换/异/同步刷盘)
转载:https://www.cnblogs.com/LifeOnCode/p/4805953.htmlRocketMQ初步应用架构理论写给RocketMQ架构应用入门,内容涉及它的设计机理以及推到出来的应用注意事项,入门人员请看。稍微涉及技术细节,留以我设计中间件时参考,将来整理深度文档时会抽取走,入门人员可以无视。以下RocketMQ简称为RQ,理论部分采用版本为3.2.4,测试部分采用版本为...转载 2018-05-31 16:12:34 · 1678 阅读 · 0 评论 -
rocketMQ 消息查询(id,key) 运维命令以及java API的用法
转载:https://blog.csdn.net/wangqingqi20005/article/details/52245141RocketMq是一个纯Java、分布式、队列模型的的开源的消息中间件,但是目前相关的资料较少,所以出现了问题很难找到解决方案。1、MQ 消息生产:http://blog.csdn.net/luckyzhoustar/article/details/512865592、...转载 2018-06-22 13:59:29 · 3357 阅读 · 0 评论 -
RocketMQ学习(五):Pull和Push (important)
主要理解下 二者的文字区别部分转载:https://yq.aliyun.com/articles/55627摘要: 源代码版本是3.2.6。在rocketmq里,consumer被分为2类:MQPullConsumer和MQPushConsumer,其实本质都是拉模式(pull),即consumer轮询从broker拉取消息。源代码版本是3.2.6。在rocketmq里,consumer被分为2类...转载 2018-06-22 17:22:38 · 1127 阅读 · 0 评论 -
RocketMQ 自定义(日志)文件路径
通过下面转载的两篇文章 发现 ,即使修改了某个mq 节点的输出日志路径,也没法按照比如topic(或者应用名) 来划分 修改的只是整个日志文件的在服务器的位置转载:http://www.mamicode.com/info-detail-1469937.html标签:一 、1. 修改store路径2. 修改logs路径3. 修改rmq_bk_gc.log路径4. 修改rm...转载 2018-08-29 11:16:19 · 22351 阅读 · 0 评论 -
rocketmq WARN BrokerControllerScheduledThread1 - registerBroker Exception
日志如下 这个是mq的服务器端打的日志 broker.log2018-08-28 08:16:08 INFO BrokerControllerScheduledThread1 - slave fall behind master, how much, 0 bytes2018-08-28 08:16:12 INFO BrokerControllerScheduledThread1 - regi...原创 2018-08-29 13:53:52 · 3546 阅读 · 0 评论 -
rocketmq启动mqnamesrv报错 Address already in use
今天发现mq双主双从的4个节点测试环境 有3个节点nameserver服务宕机重启发现报错[root@ysmq15a22 bin]# ./mqnamesrvjava.net.BindException: Address already in use at sun.nio.ch.Net.bind0(Native Method) at sun.nio.ch.Net.bind(...原创 2018-08-29 15:17:50 · 6197 阅读 · 0 评论 -
rocketmq的两种消费模式
消费端默认走集群模式, 同时多个消费组消费某个topic消息会 竞争消费,ack确认由broker完成 如果改成广播消费,消费信息的Offset由各个消费者自己控制,如果某个涉及到mq的应用 宕机(上面有消费者),重启应用会重复消费之前的消息,可以定时的提交消费的位置到数据库或者缓存,避免这个问题. 感觉广播模式没有什么使用场景:即使广播消费,某个应用至少部署两个节点吧, ...原创 2018-09-06 10:54:02 · 3436 阅读 · 0 评论 -
详解RocketMQ不同类型的消费者push/pull
转载:https://blog.csdn.net/eo63y6pKI42Ilxr/article/details/80780513云栖君导读:本文节选自云栖社区系列丛书《RocketMQ原理与实战解析》,作者:阿里巴巴数据专家杨开元。本节将重点讲解RocketMQ不同类型的消费者。 根据使用者对读取操作的控制情况,分为两种类型。一个是DefaultMQPushConsumer,由系统控...转载 2018-09-12 15:10:45 · 3175 阅读 · 0 评论 -
rocketmq--push消费过程
转载: https://www.cnblogs.com/chenjunjie12321/p/7922362.htmlRocketmq消费分为push和pull两种方式,push为被动消费类型,pull为主动消费类型,push方式最终还是会从broker中pull消息。不同于pull的是,push首先要注册消费监听器,当监听器处触发后才开始消费消息,所以被称为“被动”消费。 具体地,以...转载 2018-10-22 15:19:04 · 544 阅读 · 0 评论 -
kafka集群安装后的命令测试
转载 https://www.cnblogs.com/younldeace/p/3796580.html在129上启动zookeeper服务器 1 bin/zkServer.sh start conf/zoo.cfg 启动129,132,133上的kafka服务 1 [root@bogon kafka_2.8.0-0...转载 2018-10-20 17:28:51 · 298 阅读 · 0 评论 -
docker 搭建kafka集群
参考 :https://blog.csdn.net/sinat_31908303/article/details/80447383二当家对这篇文章做了一定修改 因为 原文中docker-compose scale kafka=3 会启动3个宿主机上9092的端口的kafka 报错仔细可以看下原文和本文进行差异比对 linux发行版已经安装好docker已经安装好docker...转载 2018-10-20 17:51:45 · 2713 阅读 · 0 评论 -
Kafka 与RocketMQ 可靠性比较
转载: https://blog.csdn.net/iie_libi/article/details/59700646引言前几期的评测中,我们对比了Kafka和RocketMQ的吞吐量和稳定性,本期我们要引入一个新的评测标准——软件可靠性。何为“可靠性”?先看下面这种情况:有A,B两辆越野汽车,在城市的周边地区均能很好应对泥泞的路况。当一同开去穿越西藏,A车会因为西藏本地的汽油不达标...转载 2018-11-06 13:42:35 · 687 阅读 · 0 评论 -
Apache RocketMQ开发者指南
来自官方githubhttps://github.com/apache/rocketmq/tree/master/docs/cnApache RocketMQ开发者指南这个开发者指南是帮忙您快速了解,并使用 Apache RocketMQ1. 概念和特性 概念(Concept):介绍RocketMQ的基本概念模型。 特性(Features):介绍RocketMQ...转载 2019-05-21 18:00:37 · 1214 阅读 · 0 评论 -
RocketMQ批量消费、消息重试、消费模式、刷盘方式
转载: https://blog.csdn.net/u010634288/article/details/56049305一、Consumer 批量消费可以通过[java] view plain copyconsumer.setConsumeMessageBatchMaxSize(10);//每次拉取10条 这里需要分为2种情况1、Consumer端先启动 2、Consumer端后启动. ...转载 2018-04-27 09:49:55 · 2740 阅读 · 0 评论 -
ActiveMQ 数据持久化
來源:简书 链接:https://www.jianshu.com/p/43cd33dc96af为了避免意外宕机以后丢失信息,需要做到重启后可以恢复消息队列,消息系统一般都会采用持久化机制。ActiveMQ的消息持久化机制有JDBC,AMQ,KahaDB和LevelDB,无论使用哪种持久化方式,消息的存储逻辑都是一致的。就是在发送者将消息发送出去后,消息中心首先将消息存储到本地数据文件、内存数据库或...转载 2018-04-27 09:14:32 · 1084 阅读 · 0 评论 -
rocketmq知识点总结
RocketMQ——Producer篇:发送顺序消息顺序消息主要是指局部顺序,即生产者通过将某一类消息发送至同一个队列来实现。与发生普通消息相比,在发送顺序消息时要对同一类型的消息选择同一个队列,即同一个MessageQueue对象。 目前RocketMQ定义了选择MessageQueue对象的接口MessageQueueSelector,里面有方法select(final List mqs,...原创 2017-12-07 11:15:53 · 2765 阅读 · 0 评论 -
Error creating bean with name 'amqpTemple' Could not resolve matching constructor (hint: specify
配置spring rabbitmq 环境遇到严重: Exception sending context initialized event to listener instance of class com.bimatrix.revit.web.ContextLoaderListenerorg.springframework.beans.factory.BeanCreationExcepti原创 2016-05-25 23:59:13 · 5551 阅读 · 0 评论 -
spring rabbitmq 环境搭建详细说明
先装 Erlang 18.3 然后安装server RabbitMQ 3.6.2maven 依赖 org.springframework.amqpspring-rabbit1.3.5.RELEASE 版本可以自己调高 mq.xml 配置文件如下 <beans xmlns="http://www.springframework.org/sch原创 2016-05-26 00:11:49 · 2215 阅读 · 0 评论 -
RabbitMQ默认端口
4369 (epmd), 25672 (Erlang distribution) 5672, 5671 (AMQP 0-9-1 without and with TLS) 15672 (if management plugin is enabled) 61613, 61614 (if STOMP is enabled) 1883, 8883 (if MQTT is enabled)转载 2016-05-26 00:14:45 · 6090 阅读 · 0 评论 -
基于Netty与RabbitMQ的消息服务
Netty作为一个高性能的异步网络开发框架,可以作为各种服务的开发框架。前段时间的一个项目涉及到硬件设备实时数据的采集,采用Netty作为采集服务的实现框架,同时使用RabbitMQ作为采集服务和各个其他模块的通信消息队列,整个服务框架图如下:将业务代码和实际协议解析部分的代码抽离,得到以上一个简单的设计图,代码开源在GitHub上,简单介绍下NettyMQServer采集转载 2016-05-29 00:12:09 · 4450 阅读 · 3 评论 -
rabbitmq rpc java
http://www.tuicool.com/articles/iIreEvE这次试着用RabbitMQ进行RPC。其实用RabbitMQ搞RPC也没什么特别的。只是我们需要在请求中再加入一个callback queue。比如这样:callbackQueueName = channel.queueDeclare().getQueue();BasicPro转载 2016-05-06 00:49:33 · 968 阅读 · 0 评论 -
activemq的几种基本通信方式总结(几种通信讲的很清楚)
简介 在前面一篇文章里讨论过几种应用系统集成的方式,发现实际上面向消息队列的集成方案算是一个总体比较合理的选择。这里,我们先针对具体的一个消息队列Activemq的基本通信方式进行探讨。activemq是JMS消息通信规范的一个实现。总的来说,消息规范里面定义最常见的几种消息通信模式主要有发布-订阅、点对点这两种。另外,通过结合这些模式的具体应用,我们在处理某些应用场景的时候也衍生转载 2016-05-30 23:44:57 · 2201 阅读 · 0 评论 -
rabbitmq 对多服务器p2p模式配置的一个测试
一直对rabbitmq p2p 模式的多服务器下做相同配置的 各个服务器数据接受情况比较好奇今天有空测试了下 xml 文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:rabbit="ht原创 2016-05-31 00:48:38 · 2066 阅读 · 0 评论 -
Kafka 设计与原理详解
一、Kafka简介本文综合了我之前写的kafka相关文章,可作为一个全面了解学习kafka的培训学习资料。转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:如何收集这些巨大的信息如何分析它如何及时做到如上两点以上几个挑战形成了一个业务需求模转载 2016-05-09 12:44:42 · 2704 阅读 · 0 评论 -
解决activemq多消费者并发处理
遇到一个现象,如果activemq队列积压了数据的话,如果在spring中启动listner,只有一个consumer执行,查阅了很多资料,无果,后来偶尔通过activemq的监控网页看到消费者列表中,只有一个消费者有等待处理的数据,其他都没有,如下图:由此得知,activemq有一定机制将队列中的数据交给consumer处理,这个机制就是数据的数量分配,查资料得知,默认是1000转载 2016-04-24 23:05:23 · 5352 阅读 · 0 评论 -
对Rabbitmq rpc返回队列的一点理解
rpc使用中生产者发送一条消息到mq ,应该会创建一个返回队列,理论上发送一个消息可以对应一个返回队列,这样会有浪费,采取一个客户端生成的消息回执都放到一个返回队列mq里面一个客户端的理解,就是生成者了,其实就是一个服务器节点,如果是集群的话,由于负载均衡,如果这些机器都会生成某种类型消息的话,一台服务器对应一个返回队列,这些队列当然都在mq服务器上。关于r原创 2016-05-09 19:28:04 · 2115 阅读 · 0 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、入门 1、简介 Kafka is a distribu转载 2016-06-02 20:20:29 · 523 阅读 · 0 评论 -
RocketMQ最佳实践
一、Producer最佳实践1、一个应用尽可能用一个 Topic,消息子类型用 tags 来标识,tags 可以由应用自由设置。只有发送消息设置了tags,消费方在订阅消息时,才可以利用 tags 在 broker 做消息过滤。2、每个消息在业务层面的唯一标识码,要设置到 keys 字段,方便将来定位消息丢失问题。由于是哈希索引,请务必保证 key 尽可能唯一,这样可以避免潜在的哈转载 2017-12-05 17:41:35 · 825 阅读 · 0 评论 -
RocketMQ事务消费和顺序消费详解
一、RocketMq有3中消息类型1.普通消费2. 顺序消费3.事务消费顺序消费场景在网购的时候,我们需要下单,那么下单需要假如有三个顺序,第一、创建订单 ,第二:订单付款,第三:订单完成。也就是这个三个环节要有顺序,这个订单才有意义。RocketMQ可以保证顺序消费。rocketMq实现顺序消费的原理 produce在发送消息的时候,把消息转载 2017-12-05 20:17:03 · 843 阅读 · 1 评论 -
rocketmq CONSUME_FROM_LAST_OFFSET CONSUME_FROM_LAST_OFFSET
3 ConsumeFromWhere consumeFromWhere 消费者从那个位置消费,分别为: 3.1 CONSUME_FROM_LAST_OFFSET:第一次启动从队列最后位置消费,后续再启动接着上次消费的进度开始消费 3.2 CONSUME_FROM_FIRST_OFFSET:第一次启动从队列初始位置消费,后续再启动接着上次消费的进度开始消费 3.3 CONSUME_F转载 2017-12-05 20:37:27 · 4077 阅读 · 0 评论 -
RocketMQ的一些特性
转载:http://jameswxx.iteye.com/blog/2091966 我想说,2.0和3.0架构变化挺大的,nameserver有必要吗?zookeeper不是挺好的吗? 一 nameserver相对来说,nameserver的稳定性非常高。原因有二:1 nameserver互相独立,彼此没有通信关系,单台nameserver挂掉,不影响转载 2017-12-07 14:09:08 · 580 阅读 · 2 评论 -
kafka副本机制之数据可靠性
一、概述 为了提升集群的HA,Kafka从0.8版本开始引入了副本(Replica)机制,增加副本机制后,每个副本可以有多个副本,针对每个分区,都会从副本集(Assigned Replica,AR)中,选取一个副本作为Leader副本,所有读写请求都由Leader副本处理,其余的副本被称为Follwer副本,其会从Leader副本拉取消息更新到本地。因此,Follower更像是Leader的...转载 2019-08-14 17:29:52 · 297 阅读 · 0 评论