centos安装rabbitmq_rabbitMQ配置

最新推荐文章于 2024-08-14 17:09:00 发布

weixin_39527372

最新推荐文章于 2024-08-14 17:09:00 发布

阅读量136

点赞数

文章标签： centos安装rabbitmq

1、消息中间件

简介：

消息中间件也可以称消息队列，基于数据通信来进行分布式系统的集成

当下主流的消息中间件有RabbitMQ、Kafka、ActiveMQ、RocketMQ

2、作用

1、消息中间件主要作用

冗余(存储)
扩展性
缓冲
可恢复性
异步通信
削峰：消息队列中的常用场景，一般在秒杀或抢够活动中使用广泛。一般会因为流量过大，应用系统配置承载不了这股瞬间流量，导致系统直接挂掉，即传说中的“宕机”现象。为解决这个问题，我们会将那股巨大的流量拒在系统的上层，即将其转移至 MQ 而不直接涌入我们的接口。

2、消息中间件的两种模式

1、P2P模式
P2P模式包含三个角色：消息队列（Queue）、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到它们被消费或超时。 
2、Pub/Sub模式
Pub/Sub模式包含三个角色：主题（Topic）、发布者（Publisher）、订阅者（Subscriber） 。多个发布者将消息发送到Topic，系统将这些消息传递给多个订阅者。

3、常用中间件介绍与对比

###### 1、Kafka

Kafka是LinkedIn开源的分布式发布-订阅消息系统，目前归属于Apache顶级项目。Kafka主要特点是追求高吞吐量，一开始的目的就是用于日志收集和传输。0.8版本开始支持复制，**不支持事务，对消息的重复、丢失、错误没有严格要求，适合产生大量数据的互联网服务的数据收集业务。**

###### 2、RabbitMQ

RabbitMQ是使用Erlang语言开发的开源消息队列系统，**基于AMQP协议来实现。AMQP的主要特征是面向消息、队列、可靠性、安全。AMQP协议更多用在企业系统内对数据一致性、稳定性和可靠性要求很高的场景，对性能和吞吐量的要求还在其次。**

Erlang是一种通用的面向并发的编程语言

###### 3、RocketMQ

RocketMQ是阿里开源的消息中间件，**它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。**它对消息的可靠传输及事务性做了优化，目前在阿里集团被广泛应用于交易、充值、消息推送、日志流式处理、binglog分发等场景。

------

RabbitMQ比Kafka可靠，Kafka更适合IO高吞吐的处理，一般应用在大数据日志处理或对实时性（少量延迟），可靠性（少量丢数据）要求稍低的场景使用，比如ELK日志收集。

RabbiMQ集群

1.RabbiMQ简介：

RabbiMQ是⽤erlang语言开发的，开源的，集群⾮常⽅便，
支持多种语言，包括java、Python、ruby、PHP、C/C++等但其本身**并不⽀持负载均衡，
支持高并发。支持AJAX，持久化，用于在分布式系统中存储转发消息，在易用性、高可用性等方面表现不俗。

Ajax 即“Asynchronous Javascript And XML”(异步 JavaScript 和 XML),是指一种创建交互式网页应用的网页开发技术。Ajax = 异步 JavaScript 和 XML

2、RabbitMQ 特点

可靠性
高可用性
多种协议
多语言客户端
管理界面
插件机制

3、什么是消息队列

MQ 全称为Message Queue, 消息队列。是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。

RabbitMQ模式

(1)单⼀模式。

(2)普通模式(默认的集群模式)。

(3) 镜像模式(把需要的队列做成镜像队列，存在于多个节点，属于RabbiMQ的高可用⽅案，在对业务可靠性要求较⾼的场合中⽐较适⽤)。要实现镜像模式，需要先搭建⼀个普通集群模式，在这个模式的基础上再配置镜像模式以实现⾼可⽤。

了解集群中的基本概念：

RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。

一个rabbitmq集群中可以共享 user，vhost，queue，exchange等，所有的数据和状态都是必须在所有节点上复制。

ConnectionFactory（连接管理器）：应用程序与Rabbit之间建立连接的管理器，程序代码中使用；

Channel（信道）：消息推送使用的通道；

Exchange（交换器）：用于接受、分配消息；

Queue（队列）：用于存储生产者的消息；

Broker：简单来说就是消息队列服务器实体

vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离.

producer：消息生产者，就是投递消息的程序。

consumer：消息消费者，就是接受消息的程序。

user:用户

普通集群准备环境

这⾥三台服务器都联⽹，另外RabbitMQ集群节点必须在同⼀⽹段⾥，如果是跨⼴域⽹，效果会变差。关闭防火墙和selinux

三台机器都操作:

配置hosts⽂件更改三台MQ节点的计算机名分别为rabbitmq-1、rabbitmq-2 和rabbitmq-3，然后修改hosts配置⽂件

三个节点配置安装rabbitmq软件

安装依赖

yum install -y *epel* gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel

yum安装erlang

wget --content-disposition https://packagecloud.io/rabbitmq/erlang/packages/el/7/erlang-20.3-1.el7.centos.x86_64.rpm/download.rpm

yum install -y erlang-20.3-1.el7.centos.x86_64.rpm

测试；

erl

安装rabbitmq

wget https://dl.bintray.com/rabbitmq/all/rabbitmq-server/3.7.5/rabbitmq-server-3.7.5-1.el7.noarch.rpm

yum install rabbitmq-server-3.7.5-1.el7.noarch.rpm -y

3.启动

systemctl daemon-reload

systemctl start rabbitmq-server

systemctl enable rabbitmq-server

启动方式二:

/sbin/service rabbitmq-server status ---查看状态

/sbin/service rabbitmq-server start ---启动

每台都操作开启rabbitmq的web访问界面：

rabbitmq-plugins enable rabbitmq_management

所有机器都操作:开启用户远程登录:

cd /etc/rabbitmq/

cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config

enabled_plugins rabbitmq.config

vim rabbitmq.config

systemctl restart rabbitmq-server

netstat -lntp 查看一下端口是否启动

4369 -- erlang发现口

5672 --程序连接端口

15672 -- 管理界面ui端口

25672 -- server间内部通信口

部署集群三台机器都操作

mkdir -p /data/rabbitmq/data

mkdir -p /data/rabbitmq/logs

chmod 777 -R /data/rabbitmq

chown rabbitmq.rabbitmq /data/ -R

创建配置文件:

vim /etc/rabbitmq/rabbitmq-env.conf

cat /etc/rabbitmq/rabbitmq-env.conf

RABBITMQ_MNESIA_BASE=/data/rabbitmq/data

RABBITMQ_LOG_BASE=/data/rabbitmq/logs

重启服务

systemctl restart rabbitmq-server

拷⻉erlang.cookie到后面两台 rabbitmq2 rabbitmq3的rabbitmq目录中

将mq-2、mq-3作为内存节点加⼊mq-1节点集群中

rabbitmqctl stop_app #停止节点，切记不是停止服务

rabbitmqctl reset #如果有数据需要重置，没有则不用

rabbitmqctl join_cluster --ram rabbit@rabbitmq-1 #添加到磁盘节点

Clustering node 'rabbit@rabbitmq-2' with 'rabbit@rabbitmq-1' ...

rabbitmqctl start_app #启动节点

Starting node 'rabbit@rabbitmq-2' ...

rabbitmq3同理

最后：

rabbitmqctl cluster_status

登录谷歌中查看

RabbitMQ镜像集群配置

rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'

"^"匹配所有的队列， ha-all 策略名称为ha-all, '{"ha-mode":"all"}' 策略模式为 all 即复制到所有节点，包含新增节点

设置策略介绍:
rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost： 可选参数，针对指定vhost下的queue进行设置
Name: policy的名称，可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition：镜像定义，包括ha-mode,ha-params,ha-sync-mode
    ha-mode:指明镜像队列的模式
        all：表示在集群中所有的节点上进行镜像
        exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定
    ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual
    ha-params：ha-mode模式需要用到的参数

论循环复习的重要性！