目录
一、消息中间件
1、简介
消息中间件也可以称消息队列,是指用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型,可以在分布式环境下扩展进程的通信。
当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ等。
2、作用
消息中间件主要作用
-
冗余(存储)
-
扩展性
-
可恢复性
-
顺序保证
-
缓冲
-
异步通信
消息中间件的两种模式
P2P模式(生产者消费者)
P2P模式包含三个角色:消息队列(Queue)、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列,接收者从队列中获取消息。队列保留着消息,直到它们被消费或超时。
P2P的特点:
-
每个消息只有一个消费者(Consumer),即一旦被消费,消息就不再在消息队列中
-
发送者和接收者之间在时间上没有依赖性,也就是说当发送者发送了消息之后,不管接收者有没有正在运行它不会影响到消息被发送到队列
-
接收者在成功接收消息之后需向队列应答成功
-
如果希望发送的每个消息都会被成功处理的话,那么需要P2P模式
Pub/Sub模式 (发布者/订阅者)
Pub/Sub模式包含三个角色:主题(Topic)、发布者(Publisher)、订阅者(Subscriber) 。多个发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。
Pub/Sub的特点:
-
每个消息可以有多个消费者
-
发布者和订阅者之间有时间上的依赖性。针对某个主题(Topic)的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息
-
为了消费消息,订阅者必须保持运行的状态
-
如果希望发送的消息可以不被做任何处理、或者只被一个消息者处理、或者可以被多个消费者处理的话,那么可以采用Pub/Sub模型
3、常用中间件介绍与对比
Kafka
Kafka是LinkedIn开源的分布式发布-订阅消息系统,目前归属于Apache顶级项目。Kafka主要特点是基于Pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
RabbitMQ
RabbitMQ是使用Erlang语言开发的开源消息队列系统,基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
RocketMQ
RocketMQ是阿里开源的消息中间件,它是纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka,但并不是Kafka的一个Copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
RabbitMQ比Kafka可靠,Kafka更适合IO高吞吐的处理,一般应用在大数据日志处理或对实时性(少量延迟),可靠性(少量丢数据)要求稍低的场景使用,比如ELK日志收集。
二、RabbiMQ集群
1、RabbiMQ简介
RabbiMQ是⽤Erang开发的,集群⾮常⽅便,因为Erlang天⽣就是⼀⻔分布式语⾔,但其本身并不⽀持负载均衡。支持高并发,支持可扩展。支持AJAX,持久化,用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。
2、RabbitMQ 特点
-
可靠性
-
扩展性
-
高可用性
-
多种协议
-
多语言客户端
-
管理界面
-
插件机制
3、什么是消息队列
MQ 全称为Message Queue, 。是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息(针对应用程序的数据)来通信,而无需专用连接来链接它们。
消息传递指的是程序之间通过在消息中发送数据进行通信,而不是通过直接调用彼此来通信。
4、RabbiMQ模式
注意:RabbitMQ模式⼤概分为以下三种:
(1)单⼀模式。
(2)普通模式(默认的集群模式)。
(3) 镜像模式(把需要的队列做成镜像队列,存在于多个节点,属于RabbiMQ的HA⽅案,在对业务可靠性要求较⾼的场合中⽐较适⽤)。要实现镜像模式,需要先搭建⼀个普通集群模式,在这个模式的基础上再配置镜像模式以实现⾼可⽤。
了解集群中的基本概念:
RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存,磁盘节点将数据放在磁盘。如果在投递消息时,打开了消息的持久化,那么即使是内存节点,数据还是安全的放在磁盘。
一个rabbitmq集 群中可以共享 user,vhost,queue,exchange等,所有的数据和状态都是必须在所有节点上复制的。
ConnectionFactory(连接管理器):应用程序与Rabbit之间建立连接的管理器,程序代码中使用; Channel(信道):消息推送使用的通道; Exchange(交换器):用于接受、分配消息; Queue(队列):用于存储生产者的消息; RoutingKey(路由键):用于把生成者的数据分配到交换器上; BindingKey(绑定键):用于把交换器的消息绑定到队列上; Broker:简单来说就是消息队列服务器实体 vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离. producer:消息生产者,就是投递消息的程序。 consumer:消息消费者,就是接受消息的程序。 user:用户
集群中有两种节点
内存节点:只保存状态到内存(一个例外的情况是:持久的queue的持久内容将被保存到disk)
磁盘节点:保存状态到内存和磁盘。---推荐
内存节点虽然不写入磁盘,但是它执行比磁盘节点要好。集群中,只需要一个磁盘节点来保存状态 就足够了。如果集群中只有内存节点,那么不能停止它们,否则所有的状态,消息等都会丢失。
三、安装
本机虚拟机环境:
localhost | 192.168.226.24 | rocky_linux |
RabbitMQ 是基于 Erlang 编程语言开发的,因此 RabbitMQ 运行时依赖于 Erlang 运行环境。
在官方网站中已经给出推荐使用的Erlang的版本和对应RabbitMQ的版本参照。
安装依赖
[root@localhost ~]# yum install -y epel-release gcc-c++ unixODBC openssl-devel ncurses-devel
下载erlang (这里我已经下载好了)
[root@localhost ~]# yum install -y erlang
测试是否正常
[root@localhost ~]# erl
Erlang/OTP 26 [erts-14.2.5] [source] [64-bit] [smp:4:4] [ds:4:4:10] [async-threads:1] [jit:ns]
Eshell V14.2.5 (press Ctrl+G to abort, type help(). for help)
1>
可以看到下载的Erlang的版本是26.2.5,然后根据这个Erlang版本参照官方推荐搭配的RabbitMQ版本下载使用。
Erlang Version Requirements | RabbitMQ
此页面下载当前新版本3.13.3的rpm包,然后上传至服务器。
Installing on RPM-based Linux | RabbitMQ
这里我已经上传好了
[root@localhost ~]# ll
total 18288
-rw-------. 1 root root 815 Jun 6 14:00 anaconda-ks.cfg
-rw-r--r-- 1 root root 18713463 Jun 28 17:22 rabbitmq-server-3.13.3-1.el8.noarch.rpm
-rw-r--r--. 1 root root 4747 Jun 24 19:46 rocky_linux.sh
安装RabbitMQ
[root@localhost ~]# yum install -y rabbitmq-server-3.13.3-1.el8.noarch.rpm
开启服务并设置开启自启
[root@localhost ~]# systemctl enable --now rabbitmq-server
启动方式二:
启动方式二:
[root@localhost ~]# /sbin/service rabbitmq-server status #查看状态
[root@localhost ~]# /sbin/service rabbitmq-server start #启动
开启rabbitmq的web访问界面
[root@localhost ~]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@localhost:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@localhost...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
[root@localhost ~]# ss -tnlp
State Recv-Q Send-Q Local Address:Port Peer Address:Port Process
LISTEN 0 1024 0.0.0.0:15672 0.0.0.0:* users:(("beam.smp",pid=8599,fd=43))
LISTEN 0 4096 0.0.0.0:4369 0.0.0.0:* users:(("epmd",pid=8645,fd=3))
LISTEN 0 128 0.0.0.0:25672 0.0.0.0:* users:(("beam.smp",pid=8599,fd=25))
LISTEN 0 128 0.0.0.0:22 0.0.0.0:* users:(("sshd",pid=2718,fd=3))
LISTEN 0 128 *:5672 *:* users:(("beam.smp",pid=8599,fd=41))
LISTEN 0 4096 [::]:4369 [::]:* users:(("epmd",pid=8645,fd=4))
LISTEN 0 128 [::]:22 [::]:* users:(("sshd",pid=2718,fd=4))
4369 -- erlang发现端口
5672 --程序连接端口
15672 -- 管理界面ui端口
25672 -- server间内部通信口
拉取配置文件,由于下载好没有配置文件,我们需要到github上找到对应版本的配置文件复制过来
创建并编辑配置文件,把上图中复制的全部代码粘贴到下面这个文件中
[root@localhost ~]# vim /etc/rabbitmq/rabbitmq.conf
粘贴好后,将下图中这个参数的注释删除,让其生效。
重启RabbitMQ的服务
[root@localhost ~]# systemctl restart rabbitmq-server
打开浏览器访问http://192.168.226.24:15672/
初始用户名:guest 密码:guest
登录后就可以进入初始页面
扩展:
下面是使用官方提供的镜像源来一键安装,但同时也需要去github上复制配置文件
Installing on RPM-based Linux | RabbitMQ
创建repo的文件将复制的代码粘贴进去
[root@localhost ~]# vim /etc/yum.repos.d/rabbitmq.repo
粘贴好代码保存退出,执行下述命令一键安装,这样是不用担心erlang和rabbitmq版本不对应造成的问题,用官方推荐的版本使用。
# 更新所有已安装的软件包到最新版本
yum update -y
# 安装 socat 和 logrotate 工具
yum install socat logrotate -y
# 安装 Erlang 和 RabbitMQ
yum install -y erlang rabbitmq-server
下载好后,也是开启,并去github拉取对应版本的配置文件,修改启动,和上述后面配置步骤一样,这里不在赘述。