高性能消息中间件(RabbitMQ)的系统学习(一)

目录

写在前面:

历史总是要前进的,历史从来不等待一切犹豫者、观望者、懈怠者、软弱者;只有与历史同步伐、与时代共命运的人才能赢得光明的未来!

一、RabbitMQ概念_MQ

1.消息队列:

MQ全称Message Queue(消息队列),是在消息的传输过程中保存消息的容器,多用于系统之间的异步通信。

1.1 消息:

两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。

1.2 队列

数据结构中概念。在队列中,数据先进先出,后进后出,如下图:

二、RabbitMQ概念_MQ的优势

1.应用解耦

1.1 问题场景:在电商平台中,用户下订单需要调用订单系统,此时订单系统还需要调用库存系统、支付系统、物流系统完成业务。此时会产生两个问题:

1.2 问题解决:如果在系统中引入MQ,即订单系统将消息先发送到MQ中,MQ再转发到其他系统,则会解决以下问题:

2.异步提速

1.1 引入MQ之前:如果订单系统同步访问每个系统,则用户下单等待时长如下:

1.2 引入MQ之后:如果引入MQ,则用户下单等待时长如下:

3.削峰填谷

1.1 问题场景:假设我们的系统每秒只能承载1000请求,如果请求瞬间增多到每秒5000,则会造成系统崩溃,图例如下:

1.2 问题解决:此时引入mq即可解决该问题。使用了MQ之后,限制消费消息的速度为1000,这样一来,高峰期产生的数据势必会被积压在MQ中,高峰就被“削”掉了,但是因为消息积压,在高峰期过后的一段时间内,消费消息的速度还是会维持在1000,直到消费完积压的消息,这就叫做“填谷”,图例如下:

三、RabbitMQ概念_MQ的劣势

四、RabbitMQ概念_MQ应用场景

1 抢红包、秒杀活动、抢火车票等

这些业务场景都是短时间内需要处理大量请求,如果直接连接系统处理业务,会耗费大量资源,有可能造成系统瘫痪。而使用MQ后,可以先让用户将请求发送到MQ中,MQ会先保存请求消息,不会占用系统资源,且MQ会进行消息排序,先请求的秒杀成功,后请求的秒杀失败。

2 消息分发

如电商网站要推送促销信息,该业务耗费时间较多,但对时效性要求不高,可以使用MQ做消息分发。

3 数据同步

假如我们需要将数据保存到数据库之外,还需要一段时间将数据同步到缓存(如Redis)、搜索引擎(如Elasticsearch)中。此时可以将数据库的数据作为消息发送到MQ中,并同步到缓存、搜索引擎中。

4 异步处理

在电商系统中,订单完成后,需要及时的通知子系统(进销存系统发货,用户服务积分,发送短信)进行下一步操作。为了保证订单系统的高性能,应该直接返回订单结果,之后让MQ通知子系统做其他非实时的业务操作。这样能保证核心业务的高效及时。

5 离线处理

在银行系统中,如果要查询近十年的历史账单,这是非常耗时的操作。如果发送同步请求,则会花费大量时间等待响应。此时使用MQ发送异步请求,等到查询出结果后获取结果即可。

六、RabbitMQ概念_AMQP

AMQP是为消息中间件设计的网络协议,RabbitMQ是由Erlang语言编写的基于AMQP的MQ产品。

1 AMQP

即Advanced Message Queuing Protocol(高级消息队列协议),是一个网络协议,专门为消息中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受不同中间件产品,不同开发语言等条件的限制。2006年AMQP规范发布,类比HTTP。

2 AMQP工作过程

生产者(Publisher)将消息发布到交换机(Exchange),交换机根据规则将消息分发给交换机绑定的队列(Queue),队列再将消息投递给订阅了此队列的消费者。

七、RabbitMQ概念_RabbitMQ工作原理

问题:RabbitMQ为什么使用信道而不直接使用TCP连接通信?

八、(实操)

1、RabbitMQ安装_安装Erlang

原因:RabbitMQ是使用Erlang语言编写的,所以在安装RabbitMQ前需要先安装Erlang环境

1.1 安装Erlang所需的依赖

1.2 添加存储库条目

1.3 安装Erlang

1.4 查看Erlang是否安装成功

2、RabbitMQ安装_安装Erlang

2.1 为了外部能够正常访问RabbitMQ服务,先关闭防火墙

2.2 RabbitMQ是通过主机名进行访问的,必须给服务器添加主机名

2.3 使用rz命令上传RabbitMQ压缩文件(前提先安装lrzsz:yum install -y lrzsz)

2.4 安装RabbitMQ

2.5 配置环境变量

2.6 开启管控台插件

2.7 后台运行

2.8 通过管控台访问RabbitMQ

路径:http://ip地址:15672,用户名:guest,密码:guest

2.9 此时会提示guest账户只允许本地使用,我们可以配置允许使用guest远程访问

3、RabbitMQ安装_账户管理

原因:guest账户默认只允许本地使用,我们可以创建新账户远程访问RabbitMQ

3.1 创建账户

3.2 给用户授予管理员角色

3.3 给用户授权

3.4 通过管控台访问rabbitmq

4、RabbitMQ安装_Docker安装

4.1 关闭RabbitMQ服务

4.2 在Centos7中安装docker

4.3 拉取镜像

4.4 启动RabbitMQ容器

4.5 开启管控台插件

4.6 通过管控台访问rabbitmq

路径:http://ip地址:15672,用户名:guest,密码:guest 

4.7 关闭RabbitMQ容器 

行笔暂且至此,下期继续! 

写在前面:
历史总是要前进的,历史从来不等待一切犹豫者、观望者、懈怠者、软弱者;只有与历史同步伐、与时代共命运的人才能赢得光明的未来!

一、RabbitMQ概念_MQ

1.消息队列:

MQ全称Message Queue(消息队列),是在消息的传输过程中保存消息的容器,多用于系统之间的异步通信

补充:

  • 同步通信相当于两个人当面对话,你一言我一语,必须及时回复;
  • 异步通信相当于通过第三方转述对话,可能有消息的延迟,但不需要二人时刻保持联系。
1.1 消息:
两台计算机间传送的数据单位。消息可以非常简单,例如只包含文本字符串;也可以更复杂,可能包含嵌入对象。
1.2 队列
数据结构中概念。在队列中,数据先进先出,后进后出,如下图:

二、RabbitMQ概念_MQ的优势

1.应用解耦

1.1 问题场景:在电商平台中,用户下订单需要调用订单系统,此时订单系统还需要调用库存系统、支付系统、物流系统完成业务。此时会产生两个问题:
  • 如果库存系统出现故障,会造成整个订单系统崩溃。
  • 如果需求修改,新增了一个X系统,此时必须修改订单系统的代码。
1.2 问题解决:如果在系统中引入MQ,即订单系统将消息先发送到MQ中,MQ再转发到其他系统,则会解决以下问题:
  1. 由于订单系统只发消息给MQ,不直接对接其他系统,如果库存系统出现故障,不影响整个订单。
  • 如果需求修改,新增了一个X系统,此时无需修改订单系统的代码,只需修改MQ将消息发送给X系统即可。

2.异步提速

1.1 引入MQ之前:如果订单系统同步访问每个系统,则用户下单等待时长如下:

1.2 引入MQ之后:如果引入MQ,则用户下单等待时长如下:

3.削峰填谷

1.1 问题场景:假设我们的系统每秒只能承载1000请求,如果请求瞬间增多到每秒5000,则会造成系统崩溃,图例如下:

1.2 问题解决:此时引入mq即可解决该问题。使用了MQ之后,限制消费消息的速度为1000,这样一来,高峰期产生的数据势必会被积压在MQ中,高峰就被“削”掉了,但是因为消息积压,在高峰期过后的一段时间内,消费消息的速度还是会维持在1000,直到消费完积压的消息,这就叫做“填谷”,图例如下:

三、RabbitMQ概念_MQ的劣势

  • 系统可用性降低 系统引入的外部依赖越多,系统稳定性越差。一旦MQ宕机,就会对业务造成影响。
  • 系统复杂度提高 MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用。
  • 一致性问题 A系统处理完业务,通过MQ给B、C、D三个系统发消息数据,如果B系统、C系统处理成功,D系统处理失败,则会造成数据处理的不一致。

四、RabbitMQ概念_MQ应用场景

1 抢红包、秒杀活动、抢火车票等

这些业务场景都是短时间内需要处理大量请求,如果直接连接系统处理业务,会耗费大量资源,有可能造成系统瘫痪。而使用MQ后,可以先让用户将请求发送到MQ中,MQ会先保存请求消息,不会占用系统资源,且MQ会进行消息排序,先请求的秒杀成功,后请求的秒杀失败。

2 消息分发

如电商网站要推送促销信息,该业务耗费时间较多,但对时效性要求不高,可以使用MQ做消息分发。

3 数据同步

假如我们需要将数据保存到数据库之外,还需要一段时间将数据同步到缓存(如Redis)、搜索引擎(如Elasticsearch)中。此时可以将数据库的数据作为消息发送到MQ中,并同步到缓存、搜索引擎中。

4 异步处理

在电商系统中,订单完成后,需要及时的通知子系统(进销存系统发货,用户服务积分,发送短信)进行下一步操作。为了保证订单系统的高性能,应该直接返回订单结果,之后让MQ通知子系统做其他非实时的业务操作。这样能保证核心业务的高效及时。

5 离线处理

在银行系统中,如果要查询近十年的历史账单,这是非常耗时的操作。如果发送同步请求,则会花费大量时间等待响应。此时使用MQ发送异步请求,等到查询出结果后获取结果即可。

六、RabbitMQ概念_AMQP

AMQP是为消息中间件设计的网络协议,RabbitMQ是由Erlang语言编写的基于AMQP的MQ产品。

1 AMQP

即Advanced Message Queuing Protocol(高级消息队列协议),是一个网络协议,专门为消息中间件设计。基于此协议的客户端与消息中间件可传递消息,并不受不同中间件产品,不同开发语言等条件的限制。2006年AMQP规范发布,类比HTTP。

2 AMQP工作过程

生产者(Publisher)将消息发布到交换机(Exchange),交换机根据规则将消息分发给交换机绑定的队列(Queue),队列再将消息投递给订阅了此队列的消费者。

七、RabbitMQ概念_RabbitMQ工作原理

  • Producer

    消息的生产者。也是一个向交换机发布消息的客户端应用程序。

  • Connection

    连接。生产者/消费者和RabbitMQ服务器之间建立的TCP连接。

  • Channel

    信道。是TCP里面的虚拟连接。例如:Connection相当于电缆,Channel相当于独立光纤束,一条TCP连接中可以创建多条信道,增加连接效率。无论是发布消息、接收消息、订阅队列都是通过信道完成的。

  • Broker

    消息队列服务器实体。即RabbitMQ服务器

  • Virtual host

    虚拟主机。出于多租户和安全因素设计的,把AMQP的基本组件划分到一个虚拟的分组中。每个vhost本质上就是一个mini版的RabbitMQ服务器,拥有自己的队列、交换机、绑定和权限机制。当多个不同的用户使用同一个RabbitMQ服务器时,可以划分出多个虚拟主机。RabbitMQ默认的虚拟主机路径是/

  • Exchange

    交换机。用来接收生产者发送的消息,并根据分发规则,将这些消息分发给服务器中的队列中。不同的交换机有不同的分发规则。

  • Queue

    消息队列。用来保存消息直到发送给消费者。它是消息的容器,也是消息的终点。消息一直在队列里面,等待消费者链接到这个队列将其取走。

  • Binding

    消息队列和交换机之间的虚拟连接,绑定中包含路由规则,绑定信息保存到交换机的路由表中,作为消息的分发依据。

  • Consumer

    消息的消费者。表示一个从消息队列中取得消息的客户端应用程序。

问题:RabbitMQ为什么使用信道而不直接使用TCP连接通信?

TCP连接的创建和销毁开销特别大。创建需要3次握手,销毁需要4次分手。高峰时每秒成千上万条TCP连接的创建会造成资源巨大的浪费。而且操作系统每秒处理TCP连接数也是有限制的,会造成性能瓶颈。而如果一条线程使用一条信道,一条TCP链接可以容纳无限的信道,即使每秒成千上万的请求也不会成为性能的瓶颈。

八、(实操)

1、RabbitMQ安装_安装Erlang

原因:RabbitMQ是使用Erlang语言编写的,所以在安装RabbitMQ前需要先安装Erlang环境

1.1 安装Erlang所需的依赖

yum install -y epel-release

1.2 添加存储库条目

  • wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm 
  • rpm -Uvh erlang-solutions-1.0-1.noarch.rpm

1.3 安装Erlang

yum install -y erlang

1.4 查看Erlang是否安装成功

erl -version

2、RabbitMQ安装_安装Erlang

2.1 为了外部能够正常访问RabbitMQ服务,先关闭防火墙

# 关闭运行的防火墙

  • systemctl stop firewalld.service

# 禁止防火墙自启动

  • systemctl disable firewalld.service

2.2 RabbitMQ是通过主机名进行访问的,必须给服务器添加主机名

# 修改文件

  • vim /etc/sysconfig/network

# 添加如下内容

  • NETWORKING=yes
  • HOSTNAME=itbaizhan


# 修改文件

  • vim /etc/hosts

# 添加如下内容

  • 服务器ip 主机名

2.3 使用rz命令上传RabbitMQ压缩文件(前提先安装lrzsz:yum install -y lrzsz)

2.4 安装RabbitMQ

# 解压RabbitMQ

  • tar xf rabbitmq-server-generic-unix-3.9.13.tar.xz


# 重命名:

  • mv rabbitmq_server-3.9.13 rabbitmq


# 移动文件夹:

  • mv rabbitmq /usr/local/

2.5 配置环境变量

# 编辑/etc/profile文件

  • vim /etc/profile


#添加如下内容

  • export PATH=$PATH:/usr/local/rabbitmq/sbin


# 运行文件,让修改内容生效

  • source /etc/profile

2.6 开启管控台插件

rabbitmq-plugins enable rabbitmq_management

2.7 后台运行

#启动rabbitmq

  • rabbitmq-server -detached


#停止rabbitmq

  • rabbitmqctl stop

2.8 通过管控台访问RabbitMQ

路径:http://ip地址:15672,用户名:guest,密码:guest

2.9 此时会提示guest账户只允许本地使用,我们可以配置允许使用guest远程访问

# 创建配置文件夹

  • mkdir -p /usr/local/rabbitmq/etc/rabbitmq

# 创建配置文件

  • vim /usr/local/rabbitmq/etc/rabbitmq/rabbitmq.conf

# 添加如下内容

  • loopback_users=none


# 重启RabbitMQ

  • rabbitmqctl stop_app
  • rabbitmqctl reset
  • rabbitmqctl start_app

3、RabbitMQ安装_账户管理

原因:guest账户默认只允许本地使用,我们可以创建新账户远程访问RabbitMQ

3.1 创建账户

# 创建账户

  • rabbitmqctl add_user 用户名 密码

3.2 给用户授予管理员角色

rabbitmqctl set_user_tags 用户名 administrator

3.3 给用户授权

# "/"表示虚拟机
# yfxz表示用户名
# ".*" ".*" ".*" 表示完整权限
rabbitmqctl set_permissions -p "/" yfxz ".*" ".*" ".*"

3.4 通过管控台访问rabbitmq

4、RabbitMQ安装_Docker安装

4.1 关闭RabbitMQ服务

rabbitmqctl stop

4.2 在Centos7中安装docker

# 安装Docker

  • curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun


# 启动docker

  • systemctl start docker

4.3 拉取镜像

docker pull rabbitmq

4.4 启动RabbitMQ容器

docker run -d --hostname itbaizhan --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq

4.5 开启管控台插件

# 查询rabbitmq容器ID
docker ps 
# 进入容器
docker exec -it 容器ID /bin/bash 
# 开启管控台插件
rabbitmq-plugins enable rabbitmq_management
# 退出容器
ctrl+p+q

4.6 通过管控台访问rabbitmq

路径:http://ip地址:15672,用户名:guest,密码:guest 

4.7 关闭RabbitMQ容器 

docker stop rabbit

行笔暂且至此,下期继续! 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值