目录
RabbitMQ尚硅谷笔记
第一次纯手工写笔记,上传了好久不知道为啥加载不好图片,建议去git地址看,有图片而且安装的程序包什么的都在里面
笔记模仿来源:RabbitMQ!女朋友看了都会的超详细保姆级附源码笔记!看完还不会请砍我!_岁月平添了我的愁-CSDN博客
视频学习来源:尚硅谷2021新版RabbitMQ教程丨快速掌握MQ消息中间件_哔哩哔哩_bilibili
代码git地址:https://gitee.com/long-rongqi/rabbit-mqtest-code.git
服务器地址:阿里云CentOS7 2核2g轻量服务器,下面代码记载真实有效
笔记标签一般用的是<img src='xxxx' />
;
目录<img src='E:\尚硅谷笔记\尚硅谷rabbitmq代码\我自己写的笔记\images\xxxxxxxxxxx.png'/>
;
在typroa中 ctrl+h
查找并且替换文件目录就行了。
例如:
查找
替换
1. MQ
1.1 MQ的相关概念
什么是MQ
MQ(message queue),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。
为什么要用MQ
1.流量消峰
举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。
2.应用解耦
以电商应用为例,应用中有订单系统、库存系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可 ,中单用户感受不到物流系统的故障,提升系统的可用性。
3.异步处理
有些服务间调用是异步的,例如A调用B,B需要花费很长时间执行,但是A需要知道B什么时候可以执行完,以前一般有两种方式,A过一段时间去调用B的查询api查询。或者A提供一个callback api,B执行完之后调用api通知A服务。这两种方式都不是很优雅,使用消息总线,可以很方便解决这个问题,A调用B服务后,只需要监听B处理完成的消息,当B处理完成后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务既不用循环调用B的查询api,也不用提供callback api。同样B服务也不用做这些操作。A服务还能及时的得到异步处理成功的消息。
1.2 MQ分类
1.ActiveMQ
-
优点:单机吞吐量万级,时效性ms级,可用性高,基于主从架构实现高可用性,消息可靠性较低的概率丢失数据
-
缺点:维护越来越少,高吞吐量场景较少使用
2.Kafka
:大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输存储的过程中发挥着举足轻重的作用。目前已经被LinkedIn,Uber,Twitter,Netflix等大公司所采纳。
优点:
性能卓越,单机写入TPS约在百万条/秒,最大的优点,就是吞吐量高。时效性ms级可用性非常高,kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用Pull方式获取消息,消息有序,通过控制能够保证所有消息被消费且仅被消费一次;有优秀的第三方Kafka Web管理界面Kafka-Manager;在日志领域比较成熟,被多家公司和多个开源项目使用;功能支持:功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用
缺点:
Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长,使用短轮询方式,实时性取决于轮询间隔时间,消费失败不支持重试;支持消息顺序,但是一台代理宕机后,就会产生消息乱序,社区更新较慢;
3.RocketMQ
:出自阿里巴巴的开源产品,用Java语言实现,在设计时参考了Kafka,并做出了自己的一些改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理binglog分发等场
优点:
单机吞吐量十万级,可用性非常高,分布式架构,消息可以做到0丢失,MQ功能较为完善,还是分布式的,扩展性好,支持10亿级别的消息堆积,不会因为堆积导致性能下降,源码是java我们可以自己阅读源码,定制自己公司的MQ
缺点:
支持的客户端语言不多,目前是java及c++,其中c++不成熟;社区活跃度一般,没有在MQ核心中去实现JMS等接口,有些系统要迁移需要修改大量代码
1.3 MQ的选择
MQ | 介绍 |
---|---|
Kafka | Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据 的互联网服务的数据收集业务。大型公司 建议可以选用,如果有日志采集 功能,肯定是首选kafka了。 |
RocketMQ | 天生为金融互联网 领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。RoketMQ在稳定性上可能更值得信赖,这些业务场景在阿里双11已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。 |
RabbitMQ | 结合erlang语言本身的并发优势,性能好时效性微秒级 ,社区活跃度也比较高 ,管理界面用起来十分方便,如果你的数据量没有那么大 ,中小型公司优先选择功能比较完备的RabbitMQ。 |
2 RabbitMQ
概念
RabbitMQ是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑RabbitMQ是一个快递站,一个快递员帮你传递快件。RabbitMQ.与快递站的主要区别在于,它不处理快件而是接收,存储和转发消息数据。
四大核心概念
概念 | 介绍 |
---|---|
生产者 | 产生数据发送消息的程序是生产者 |
交换机 | 交换机是RabbitMQ非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推关到多个队列,亦或者是把消息丢弃,这个得有交换机类型决定 |
队列 | 队列是RabbitMQ内部使用的一种数据结构,尽管消息流经RabbitMQ和应用程序但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式 |
消费者 | 消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者 |
2.1 核心部分
部分 | 功能 |
---|---|
Borker | 接受和分发消息的应用,RabbitMQ Server就是Message Broker |
Virtualhost | 出于多租户和安全因素设计的,把AMQP 的基本组件划分到一个虚拟的分组中,类似于网络中的namespace.概念。当多个不同的用户使用同一个RabbitMQ server提供的服务时,可以划分出多个vhost,每个用户在自己的vhost创建exchange / queue 等 |
Connection | publisher / consumer和broker之间的TCP连接 |
Channel | 如果每一次访问 RabbitMQ 都建立一个Connection,在消息量大的时候建立TCPConnection的开销将是巨大的,效率也较低。Channel是在connection 内部建立的逻辑连接,如果应用程序支持多线程,通常每个thread 创建单独的channel进行通讯,AMQP method包含了channel id 帮助客户端和message broker识别 channel,所以channel之间是完全隔离的。Channel作为轻量级的Connection极大减少了操作系统建立TCP connection的开销 |
Exchange | message 到达 broker 的第一站,根据分发规则,匹配查询表中的 routing key,分发消息到queue 中去。常用的类型有: direct (point-to-point), topic (publish-subscribe) and fanout (multicast) |
Queue | 消息最终被送到这里等到consumer取走 |
Binding | exchange和queue之间的虚拟连接,binding中可以包含routing key,Binding消息被保存到exchange中的查询表中,用于message的分发依据 |
2.2 安装
1 安装rabbitmq3.9.5(注意:这是el8,也就是CentOS 8版本,7的话不兼容 见下面el7安装)
下载erlang语言环境(24)
el/8/erlang-24.0.5-1.el8.x86_64.rpm - rabbitmq/erlang · packagecloud
下载rabbitmq版本(3.9.5)
Downloading and Installing RabbitMQ — RabbitMQ
windows下载完传输
<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#000000">linux安装erlang语言环境</span>
<span style="color:#000000">rpm</span> <span style="color:#981a1a">-</span><span style="color:#000000">ivh</span> <span style="color:#000000">erlang</span>.........
<span style="color:#000000">yum</span> <span style="color:#000000">install</span> <span style="color:#000000">socat</span> <span style="color:#981a1a">-</span><span style="color:#000000">y</span>
<span style="color:#000000">PS</span>:
<span style="color:#000000">如果报这个错:</span>
<span style="color:#000000">warning</span>: <span style="color:#000000">erlang</span><span style="color:#981a1a">-</span><span style="color:#116644">24.0</span>.<span style="color:#116644">5</span><span style="color:#981a1a">-</span><span style="color:#116644">1.</span><span style="color:#000000">el8</span>.<span style="color:#000000">x86_64</span>.<span style="color:#000000">rpm</span>: <span style="color:#000000">Header</span> <span style="color:#000000">V4</span> <span style="color:#000000">RSA</span><span style="color:#981a1a">/</span><span style="color:#000000">SHA256</span> <span style="color:#000000">Signature</span>, <span style="color:#000000">key</span> <span style="color:#000000">ID</span> <span style="color:#116644">6026</span><span style="color:#000000">dfca</span>: <span style="color:#000000">NOKEY</span>
<span style="color:#000000">error</span>: <span style="color:#000000">Failed</span> <span style="color:#000000">dependencies</span>:<span style="color:#981a1a">*****************************</span>
<span style="color:#000000">是因为Linux的rpm版本太低,,所以用此Linux的rpm解压文件时一般加上</span> <span style="color:#981a1a">--</span><span style="color:#000000">force</span> <span style="color:#981a1a">--</span><span style="color:#000000">nodeps进行解压</span>
<span style="color:#000000">rpm</span> <span style="color:#981a1a">-</span><span style="color:#000000">ivh</span> <span style="color:#000000">erlang</span>... <span style="color:#981a1a">--</span><span style="color:#000000">force</span> <span style="color:#981a1a">--</span><span style="color:#000000">nodeps</span></span></span>
<span style="background-color:#f8f8f8"><span style="color:#333333">安装rabbitmq
rpm -ivh rabbitmq........
安装rabbitmq后台界面(插件)
rabbitmq-plugins enable rabbitmq_management
自动启动rabbitmq服务 chkconfig rabbitmq-server on
启动服务 /sbin/service rabbitmq-server start / rabbitmq-server start
停止服务 /sbin/service rabbitmq-server stop / rabbitmq-server stop</span></span>
关闭linux防火墙
<span style="background-color:#f8f8f8"><span style="color:#333333">systemctl stop firewalld </span></span>
windows进行访问图形界面
发现权限问题进不去
新增用户
<span style="background-color:#f8f8f8"><span style="color:#333333">创建账号
<span style="color:#117700">rabbitmqctl</span> <span style="color:#117700">add_user</span> <span style="color:#117700">rongqi</span> <span style="color:#117700">rongqi</span>
设置用户角色
<span style="color:#117700">rabbitmqctl</span> <span style="color:#117700">set_user_tags</span> <span style="color:#117700">rongqi</span> <span style="color:#117700">administrator</span>
设置用户权限
<span style="color:#117700">set_permissions</span> [-p <span style="color:#117700"><vhostpath</span>>] <span style="color:#117700"><user</span>> <span style="color:#117700"><conf</span>> <span style="color:#117700"><write</span>> <span style="color:#117700"><read</span>>
<span style="color:#117700">PS</span>:不同<span style="color:#117700">的vhost</span>的交换机和队列都是不一样的
<span style="color:#117700">rabbitmqctl</span> <span style="color:#117700">set_permissions</span> -p <span style="color:#aa1111">"/"</span> <span style="color:#117700">rongqi</span> <span style="color:#aa1111">".*"</span> <span style="color:#aa1111">".*"</span> <span style="color:#aa1111">".*"</span>
用<span style="color:#117700">户rongqi</span>具有<span style="color:#117700">/vhost1</span> 这<span style="color:#117700">个virtual</span> <span style="color:#117700">host</span> 中所有资源的配置、读、写权限
查看当前用户和角色
<span style="color:#117700">rabbitmqctl</span> <span style="color:#117700">list_users</span></span></span>
新增完成功登陆rabbitmq后台管理界面
2.3 删除
删除rabbitmq
<span style="background-color:#f8f8f8"><span style="color:#333333">查<span style="color:#117700">看rabbitmq</span>安装的相关列<span style="color:#117700">表yum</span> <span style="color:#117700">list</span> <span style="color:#770088">|</span> <span style="color:#117700">grep</span> <span style="color:#117700">rabbitmq</span>
卸<span style="color:#117700">载rabbitmq</span>已安装的相关内<span style="color:#117700">容yum</span> -y <span style="color:#117700">remove</span> <span style="color:#117700">rabbitmq</span>-<span style="color:#117700">server</span>.<span style="color:#117700">noarch</span>
查<span style="color:#117700">看erlang</span>安装的相关列表 <span style="color:#117700">yum</span> <span style="color:#117700">list</span> <span style="color:#770088">|</span> <span style="color:#117700">grep</span> <span style="color:#117700">erlang</span>
卸<span style="color:#117700">载erlang</span>已安装的相关内容
<span style="color:#117700">yum</span> -y <span style="color:#117700">remove</span> <span style="color:#117700">erlang</span>-<span style="color:#116644">*</span>
<span style="color:#117700">yum</span> <span style="color:#117700">remove</span> <span style="color:#117700">erlang</span>.<span style="color:#117700">x86_64</span></span></span>
el7rabbitmq
<span style="background-color:#f8f8f8"><span style="color:#333333">1、下<span style="color:#117700">载erlang</span> <span style="color:#117700">rpm</span>包,下载地址<span style="color:#117700">:https</span>:/<span style="color:#117700">/packagecloud</span>.<span style="color:#117700">io/rabbitmq/erlang</span> 选择对应版本<span style="color:#117700">的erlang</span> <span style="color:#117700">rmp</span>安装包。
2、下<span style="color:#117700">载socat</span> <span style="color:#117700">rpm</span>包,下载地址<span style="color:#117700">:http</span>:/<span style="color:#117700">/www</span>.<span style="color:#117700">rpmfind</span>.<span style="color:#117700">net/linux/rpm2html/search</span>.<span style="color:#117700">php?query=socat</span>(<span style="color:#117700">x86</span>-<span style="color:#117700">64</span>) 下载所需要的版本。
3、下<span style="color:#117700">载RabbitMQ</span> <span style="color:#117700">rpm</span>包,下载地址<span style="color:#117700">:http</span>:/<span style="color:#117700">/www</span>.<span style="color:#117700">rabbitmq</span>.<span style="color:#117700">com/install</span>-<span style="color:#117700">rpm</span>.<span style="color:#117700">html</span> 下载所需版本的安装包。
<span style="color:#117700">https</span>:/<span style="color:#117700">/www</span>.<span style="color:#117700">rabbitmq</span>.<span style="color:#117700">com/which</span>-<span style="color:#117700">erlang</span>.<span style="color:#117700">html</span>
————————————————
版权声明:本文<span style="color:#117700">为CSDN</span>博主<span style="color:#117700">「wzhwangzhuohui</span>」的原创文章,遵<span style="color:#117700">循CC</span> 4.0 <span style="color:#117700">BY</span>-<span style="color:#117700">SA</span>版权协议,转载请附上原文出处链接及本声明。
原文链接<span style="color:#117700">:https</span>:/<span style="color:#117700">/blog</span>.<span style="color:#117700">csdn</span>.<span style="color:#117700">net/wzhwangzhuohui/article/details/120513369</span></span></span>
3 Hello World
3.1创建开发环境
创建一个Maven项目:rabbitmq-hello,POM如下:
<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#981a1a"><</span><span style="color:#000000">build</span><span style="color:#981a1a">></span>
<span style="color:#981a1a"><</span><span style="color:#000000">plugins</span><span style="color:#981a1a&#