目录
一、MQ引言
1、什么是MQ
MQ
(Message MQ),翻译为消息队列
,通过典型的生产者
和消费者
模型,生产者不断向消息队列中生产消息,消费组不断的从队列中获取消息。因为消息的生产和消费都是异步的,而且只关心消息的发送和接收,没有业务逻辑的侵入,轻松的实现系统间解耦,别名为消息中间件
,通过利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。
2、MQ有哪些
当今失眠上有很多主流的消息中间件,如老牌的
ActiveMQ
、RabbitMQ
,炙手可热的Kafka
,阿里巴巴自主开发的RocketMQ
等
3、不同的MQ特点
# 1、ActiveMQ
ActiveMQ是Apache出品,最流行的,能力强劲的开源消息总线,他是一个完全支持JNS规范的消息中间件,丰富的API,多种集群架构模式让ActiveMQ在业界称为老牌的消息中间件,在中小型企业颇受欢迎。
# 2、Kafka
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,对消息的重复,丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
# 3、RocketMQ
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个复制品,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
# 4、RabbitMQ
RabbitMQ是使用Erlang语言开发的开源消息队列系统,协议来实现啊。AMQP的主要特征就是面向消息、队列、路由(包括点对点和发布-订阅)、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
RabbitMQ比Kafka可靠,Kafka更适合IO高吞吐的处理,一般应用在大数据日志处理或对实时性(少量延迟),可靠性(少量丢数据)要求稍低的场景使用,比如ELK日志收集。
二、RabbitMQ的安装
1、下载
# 1、官网下载地址:https://www.rabbitmq.com/download.html
# 2、下载两个文件:
erlang-22.0.7-1-el7.x86_64.rpm # 依赖,RabbitMQ是erlang语言开发的
rabbitmq-server-3.7.18-1.el7.noarch.rpm # rabbitMQ安装包
# 注意:这里的安装包是centos7的安装包
2、安装步骤
# 1、将rabbitmq安装包上传到linux系统中
erlang-22.0.7-el7.x86_64.rpm
rabbitmq-server-3.7.18-1.el7.noarch.rpm
# 2、安装Erlang依赖包
rpm -ivh erlang-22.0.7-1.el7.x86_64.rpm
# 3、安装RabbitMQ安装包(需要联网)
yum install -y rabbitmq-server-3.7.18-1.el7.noarch.rpm
# 注意:默认安装完成后配置文件模板在/usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example
# 需要将配置文件复制到/etc/rabbitmq/目录中,并修改名称为rabbitmq.config
# 4、复制配置文件
cp /usr/share/doc/rabbitmq-server-3.7.18/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
# 5、查看配置文件位置
ls /etc/rabbitmq/rabbitmq.config
# 6、修改配置文件(如下图)
vim /etc/rabbitmq/rabbitmq.config
# 7、执行如下命令,启动rabbitmq中的插件管理
rabbitmq-plugins enable rabbitmq_management
#出现如下说明:
# Enabling plugins on node rabbit@localhost:
# rabbitmq_management
# The following plugins hava been configured:
# rabbitmq_management
# rabbitmq_management_agent
# rabbitmq_web_dispatch
# Applying plugin configuration to rabbit@localhost...
# The following plugins have been enabled:
# rabbitmq_management
# rabbitmq_management_agent
# rabbitmq_web_dispatch
#
# set 3 plugins.
# Offline change; changes will take effect at broker restart.
# 8、启动RabbitMQ的服务
systemctl start rabbitmq-server
systemctl restart rabbitmq-server
systemctl stop rabbitmq-server
# 9、查看服务状态
systemctl status rabbitmq-server
# 10、关闭防火墙服务
systemctl disable firewalld
systemctl stop firewalld
# 11、访问web管理界面
http://192.168.179.128:15672
# 12、登入管理界面
username:guest
password:guest
3、RabbitMQ配置
1、RabbitMq管理命令行
# 1、服务启动相关
systemctl start|restart|stop|status rabbitmq-server
# 2、管理命令行 用来在不使用web管理界面的情况下命令操作rabbitmq
rabbitmqctl help #可以查看更多命令
# 3、插件管理命令行
rabbitmqplugine enable|list|disable
2、Web管理界面介绍
三、MQ的应用场景
1、异步处理
场景说明:用户注册后,需要发注册邮件和注册短信,传统的做法有两种 1、串行的方式 2、并行的方式
串行方式
:将注册信息写入数据库后,发送注册邮件,在发送注册短信,以上三个任务全部完成后才返回给客户端。这有一个问题是,邮件、短信并不是必须的,他只是一个通知,而这种做法让客户端等待没有必要等待的对象
并行方式
:将注册信息写入数据库后,发送邮件的同时,发送短信,以上三个任务完成后,返回给客户端,并行的方式能提高处理的事件。
消息队列
:假设三个业务节点分别使用50ms,串行方式使用事件150ms,并行使用事件100ms,虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响,客户端没有必要等着其发送完成后才显示注册成功,应该是写如数据库后就返回,消息队列
,引入消息队列后,把发送邮件,短信不是必须的业务逻辑异步处理
由此可以看出,引入消息队列后,用户的相应事件就等于写入数据库的事件+写入消息队列的事件(可以忽略不计),引入消息队列后处理后,相应时间是串行的3倍,是并行的2倍。
2、应用解耦
场景:双十一是购物节,用户下单后,订单系统需要通知库存系统,传统的做法就是订单系统调用库存系统的接口
这种做法有一个缺点:
当库存系统出现故障时,订单就会失败。订单系统和库存系统高耦合、引入消息队列
-
订单系统
:用户下单后,订单系统完成持久化处理,将消息写如消息队列,返回用户订单下单成功。 -
库存系统
:订阅下单的消息,获取下单消息,进行库操作。就算库存系统出现故障,消息队列也能保证消息的可靠投递,不会导致消息丢失。
3、流量削峰
场景
:秒杀活动,一般会因为流量过大,导致应用挂掉,为了解决这个问题,一般在应用前端加入消息队列。
作用
:
1、可以控制活动人数,超过此一定阈值的订单直接丢弃
2、可以缓解短时间的高流量压垮应用(应用程序按自己的最大处理能力获取订单)
RabbitMq (一) 基本介绍以及安装
RabbitMq (二) java操作rabbitmq
RabbitMq (三) springboot操作rabbitmq
RabbitMq (四) rabbitmq集群