ActiveMQ的多节点集群

最新推荐文章于 2022-01-11 13:58:19 发布
最新推荐文章于 2022-01-11 13:58:19 发布
阅读量838 收藏 1
点赞数
分类专栏： ActiveMQ MySQL 文章标签： ActiveMQ zookeeper 集群环境
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012068483/article/details/109540623
版权

概述

  • 基于zookeeper和LevelDB搭建ActiveMQ集群。
  • 集群仅提供主备方式的高可用集群功能，避免单点故障。

集群实现方案

  1. 基于shareFileSystem共享文件系统（KahaDB）
  2. 基于JDBC
  3. 基于可复制的LevelDB

LevelDB，5.6版本之后推出了LecelDB的持久化引擎，它使用了自定义的索引代替常用的BTree索引，其持久化性能高于KahaDB，虽然默认的持久化方式还是KahaDB，但是LevelDB可能会是趋势。

在5.9版本还提供了基于LevelDB和Zookeeper的数据复制方式，作为Master-Slave方式的首选数据复制方案。

zookeeper+replicated-leveldb-store的主从集群

概述
  • 从ActiveMQ5.9开始,ActiveMQ的集群实现方式取消了传统的Masster-Slave方式.，增加了基于Zookeeper+LevelDB的Master-Slave实现方式,从5.9版本后也是官网的推荐。
  • 基于Zookeeper和LevelDB搭建ActiveMQ集群,集群仅提供主备方式的高可用集群功能,避免单点故障
官方集群原理

在这里插入图片描述

  • 上图意思是当Master宕机后，zookeper 监测到没有心跳信号， 则认为 master 宕机了，然后选举机制会从剩下的 Slave 中选出一个作为 新的 Master 。
  • 使用Zookeeper集群注册所有的ActiveMQ Broker但只有其中一个Broker可以提供服务，它将被视为Master,其他的Broker处于待机状态被视为Slave。
  • 如果Master因故障而不能提供服务，Zookeeper会从Slave中选举出一个Broker充当Master。Slave连接Master并同步他们的存储状态，Slave不接受客户端连接。所有的存储操作都将被复制到连接至Maste的Slaves。
  • 如果Master宕机得到了最新更新的Slave会变成Master。故障节点在恢复后会重新加入到集群中并连接Master进入Slave模式。
  • 所有需要同步的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。
    所以，如给你配置了replicas=3，仲裁大小是（3/2）+1 = 2。Master将会存储更新然后等待（2-1）=1个Slave存储和更新完成，才汇报success。
  • 当一个新的Master被选中，你需要至少保障一个法定node在线以能够找到拥有最新状态的node，这个node才可以成为新的Master。
  • 因此，推荐运行至少3个replica nodes以防止一个node失败后服务中断。
构建过程
1、集群节点规划
节点编号主机IPZK集群端口ZK安装目录AMQ集群bind端口AMQ消息tcp端口AMQ管理控制台端口AMQ安装目录
ActiveMQ01192.168.67.1402181/myZookeeper3.4.14/zookeeper-3.4.14bind=“tcp://0.0.0.0:63631”616168161/myactivemq/apache-activemq-5.16.0
ActiveMQ02192.168.67.1802181/myZookeeper3.4.14/zookeeper-3.4.14bind=“tcp://0.0.0.0:63632”616168162/myactivemq/apache-activemq-5.16.0
ActiveMQ03192.168.67.1902181/myZookeeper3.4.14/zookeeper-3.4.14bind=“tcp://0.0.0.0:63633”616168163/myactivemq/apache-activemq-5.16.0
2、ZooKeeper集群

ZooKeeper集群的构建过程，参见CentOS下安装ZooKeeper中的分布式安装部署小节

3、ActiveMQ集群

（1）下载并解压ActiveMQ（三台服务器相同）

tar -zxvf apache-activemq-5.16.0-bin.tar.gz

（2）修改管理控制台端口

ActiveMQ01节点配置

image

ActiveMQ02节点配置

image

ActiveMQ03节点配置

image

（3）三个节点的brokerName一致（在activemq.xml配置文件中）

image

（4）持久化配置

ActiveMQ01配置

在这里插入图片描述

ActiveMQ02配置

在这里插入图片描述

ActiveMQ03配置

在这里插入图片描述

（5）启动ActiveMQ集群

前提条件：先启动ZooKeeper集群

分别启动三个ActiveMQ服务

[root@CentOS001 bin]# ./activemq start
[root@CentOS004 bin]# ./activemq start
[root@CentOS005 bin]# ./activemq start

（6）登录ZooKeeper查看ActiveMQ集群状态

[zk: localhost:2181(CONNECTED) 0] ls /
[activemq, zookeeper, sanguo, atguigu, f, demo, zk-test0000000002, lock-space123, 2010dd, mycat, servers, tttt, htzw]
[zk: localhost:2181(CONNECTED) 1] 
[zk: localhost:2181(CONNECTED) 1] ls /activemq
[leveldb-stores]
[zk: localhost:2181(CONNECTED) 2] ls /activemq/leveldb-stores
[00000000003, 00000000004, 00000000005]
[zk: localhost:2181(CONNECTED) 3] get /activemq/leveldb-stores/0000000000

00000000003   00000000004   00000000005
[zk: localhost:2181(CONNECTED) 3] get /activemq/leveldb-stores/00000000000
Node does not exist: /activemq/leveldb-stores/00000000000
[zk: localhost:2181(CONNECTED) 4] get /activemq/leveldb-stores/0000000000 

00000000003   00000000004   00000000005
[zk: localhost:2181(CONNECTED) 4] get /activemq/leveldb-stores/00000000003
{"id":"activemq","container":null,"address":"tcp://192.168.67.180:63632","position":-1,"weight":1,"elected":"0000000003"}
cZxid = 0x1a0000001f
ctime = Thu Nov 05 16:16:39 CST 2020
mZxid = 0x1a00000027
mtime = Thu Nov 05 16:16:40 CST 2020
pZxid = 0x1a0000001f
cversion = 0
dataVersion = 4
aclVersion = 0
ephemeralOwner = 0x10003a6ef960000
dataLength = 121
numChildren = 0
[zk: localhost:2181(CONNECTED) 5] get /activemq/leveldb-stores/00000000004
{"id":"activemq","container":null,"address":null,"position":-1,"weight":1,"elected":null}
cZxid = 0x1a00000022
ctime = Thu Nov 05 16:16:40 CST 2020
mZxid = 0x1a00000025
mtime = Thu Nov 05 16:16:40 CST 2020
pZxid = 0x1a00000022
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x2001268fd220005
dataLength = 89
numChildren = 0
[zk: localhost:2181(CONNECTED) 6] get /activemq/leveldb-stores/00000000005
{"id":"activemq","container":null,"address":null,"position":-1,"weight":1,"elected":null}
cZxid = 0x1a0000002a
ctime = Thu Nov 05 16:16:41 CST 2020
mZxid = 0x1a0000002a
mtime = Thu Nov 05 16:16:41 CST 2020
pZxid = 0x1a0000002a
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x10003a6ef960001
dataLength = 89
numChildren = 0
[zk: localhost:2181(CONNECTED) 7]

在这里插入图片描述

（7）管理界面访问

此时只能访问master的管理界面，slave节点不能提供访问

在这里插入图片描述

以下两个Slave节点的管理界面无法访问

在这里插入图片描述

集群可用性测试
  • ActiveMQ的客户端只能访问Master的Broker，其他处于Slave的Broker不能访问，所以客户端连接的Broker应该使用failover协议（失败转移）
  • 当一个ActiveMQ节点挂掉或者一个Zookeeper节点挂点，ActiveMQ服务依然正常运转，如果仅剩一个ActiveMQ节点，由于不能选举Master，所以ActiveMQ不能正常运行。
  • 同样的，如果zookeeper仅剩一个活动节点，不管ActiveMQ各节点存活，ActiveMQ也不能正常提供服务。
  • ActiveMQ集群的高可用依赖于Zookeeper集群的高可用
  • 集群需要使用(failover:(tcp://192.168.67.130:61616,tcp://192.168.67.180:61616,tcp://192.168.67.190:61616))配置多个ActiveMQ
ActiveMQ测试故障切换
关闭Master节点，并从ZK中查看选举状态
[root@CentOS001 bin]# ./activemq stop
INFO: Loading '/myactivemq/apache-activemq-5.16.0//bin/env'
INFO: Using java '/usr/java/jdk1.8.0_161/bin/java'
INFO: Waiting at least 30 seconds for regular process termination of pid '13776' : 
Java Runtime: Oracle Corporation 1.8.0_161 /usr/java/jdk1.8.0_161/jre
  Heap sizes: current=62976k  free=61992k  max=932352k
    JVM args: -Xms64M -Xmx1G -Djava.util.logging.config.file=logging.properties -Djava.security.auth.login.config=/myactivemq/apache-activemq-5.16.0//conf/login.config -Dactivemq.classpath=/myactivemq/apache-activemq-5.16.0//conf:/myactivemq/apache-activemq-5.16.0//../lib/: -Dactivemq.home=/myactivemq/apache-activemq-5.16.0/ -Dactivemq.base=/myactivemq/apache-activemq-5.16.0/ -Dactivemq.conf=/myactivemq/apache-activemq-5.16.0//conf -Dactivemq.data=/myactivemq/apache-activemq-5.16.0//data
Extensions classpath:
  [/myactivemq/apache-activemq-5.16.0/lib,/myactivemq/apache-activemq-5.16.0/lib/camel,/myactivemq/apache-activemq-5.16.0/lib/optional,/myactivemq/apache-activemq-5.16.0/lib/web,/myactivemq/apache-activemq-5.16.0/lib/extra]
ACTIVEMQ_HOME: /myactivemq/apache-activemq-5.16.0
ACTIVEMQ_BASE: /myactivemq/apache-activemq-5.16.0
ACTIVEMQ_CONF: /myactivemq/apache-activemq-5.16.0/conf
ACTIVEMQ_DATA: /myactivemq/apache-activemq-5.16.0/data
Connecting to pid: 13776
.Stopping broker: activemq
. TERMINATED
[root@CentOS001 bin]#

[zk: localhost:2181(CONNECTED) 0] zkCli.sh 
[zk: localhost:2181(CONNECTED) 0] ls /
[activemq, zookeeper, sanguo, atguigu, f, demo, zk-test0000000002, lock-space123, 2010dd, mycat, servers, tttt, htzw]
[zk: localhost:2181(CONNECTED) 1] ls /activemq
[leveldb-stores]
[zk: localhost:2181(CONNECTED) 2] ls /activemq/leveldb-stores
[00000000011, 00000000012]
[zk: localhost:2181(CONNECTED) 3] get /activemq/leveldb-stores/0000000001

00000000011   00000000012
[zk: localhost:2181(CONNECTED) 3] get /activemq/leveldb-stores/00000000011
{"id":"activemq","container":null,"address":"tcp://192.168.67.180:63632","position":-1,"weight":1,"elected":"0000000011"}
cZxid = 0x1b0000001f
ctime = Thu Nov 05 22:32:29 CST 2020
mZxid = 0x1b0000002e
mtime = Thu Nov 05 22:39:39 CST 2020
pZxid = 0x1b0000001f
cversion = 0
dataVersion = 6
aclVersion = 0
ephemeralOwner = 0x2001314fdca0000
dataLength = 121
numChildren = 0
[zk: localhost:2181(CONNECTED) 4] get /activemq/leveldb-stores/00000000012
{"id":"activemq","container":null,"address":null,"position":-1,"weight":1,"elected":null}
cZxid = 0x1b00000026
ctime = Thu Nov 05 22:32:37 CST 2020
mZxid = 0x1b0000002c
mtime = Thu Nov 05 22:39:39 CST 2020
pZxid = 0x1b00000026
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x10003ebda200004
dataLength = 89
numChildren = 0
[zk: localhost:2181(CONNECTED) 5]

此时activemq02（IP为192.168.67.180）成为master，登录管理界面测试

在这里插入图片描述

重新启动ActiveMQ01节点，将其加入集群称为Slave
慢就是【快】
关注
专栏目录
java怎么连接activemq集群_ActiveMQ+ZooKeeper 集群整合
weixin_29967003的博客
02-27 334
前言本案例使用的是真集群方式，准备三台主机，IP分别为192.168.100.142、192.168.100.143、192.168.100.144伪集群部署请看：ActiveMQ+ZooKeeper 伪集群整合如果需要了解ActiveMQ集群部署的整体概念，可以参考我这篇文章：ActiveMQ集群整体认识原理简介：一般在部署ActiveMQ集群的时候，更倾向于使用基于ZooKeeper的Repl...
window系统搭建activeMQ集群和操作步骤
07-02
window搭建activeMQ集群（linux系统搭建集群的方式和window的一样），还有自己写的搭建集群的文档和我自己亲手搭建的一个三个mq集群
ActiveMQ集群
weixin_34178244的博客
09-30 202
1.ActiveMQ集群介绍 1.为什么要集群? 　　 　　实现高可用，以排除单点故障引起的服务中断 　　实现负载均衡，以提升效率为更多客户提供服务 2.集群方式 　　客户端集群:让多个消费者消费同一个队列 　　Broker Cluster:多个Broker之间同步消息(做不了高可用，可以实现负载均衡) 　　Master-Slave:高可用(做不了负载均衡) 3.ActiveMq失...
activemq mysql 集群配置_ActiveMQ集群的使用与配置
weixin_30963127的博客
01-20 133
ActiveMQ从多种不同的方面提供了集群的支持。1、Queue consumerclustersActiveMQ支持订阅同一个queue的consumers上的集群。如果一个consumer失效，那么所有未被确认(unacknowledged)的消息都会被发送到这个queue上其它的consumers。如果某个consumer的处理速度比其它 consumers更快，那么这个consumer就会...
activemq集群 java_Zookeeper+ActiveMQ 集群实现
weixin_32191249的博客
02-16 179
基础环境：系统环境：centos6.7软件包:zookeeper-3.4.10.tar.gzZooKeeper集群主机ip消息端口通信端口192.168.33.1721812888：3888192.168.33.1821812888：3888192.168.33.1921812888：3888ActiveMq集群主机ip集群间的通信端口消息端口控制台端口192.168.33.17626216161...
window下运行activemq集群
新手小杨
03-20 261
window下运行activemq集群 activemqAactivemqBactivemqCDB 1.在某盘下新建一个文件夹 2.在文件夹里面新建四个文件夹，分别为： 3.把原来下载的apache-activemq-5.15.11分别复制到activemqA、activemqB、activemqC下面 activemqB、activemqC就不列出来 4.修改A代码块 打开activem...
基于kahadb的activemq高可用集群部署配置示例
08-10
集群部署通常包括两个或多个broker节点，每个节点运行在不同的物理或虚拟机上，以提高系统的容错能力。在这个示例中，我们将设置两个broker实例（amq1和amq2），它们都将使用KahaDB作为其默认的消息存储。 ### 2. ...
ActiveMQ高可用集群(ZooKeeper+LevelDB)安装、配置（伪集群）.docx
10-20
本文详细介绍了ActiveMQ高可用集群的安装和配置过程，包括ZooKeeper集群环境、ActiveMQ集群部署、防火墙配置、集群节点安装和管理控制台端口配置等。通过这篇文章，读者可以了解到ActiveMQ高可用集群的架构和配置...
高可用之ActiveMQ高可用集群(ZooKeeper+LevelDB)安装、配置（伪集群）.docx
最新发布
11-07
在运行时，ActiveMQ节点通过ZooKeeper进行心跳检测和状态同步。当一个节点失败时，ZooKeeper会感知到这个变化，并选举新的Master节点。同时，由于LevelDB的持久化，消息可以在新Master节点上恢复处理，从而实现高...
RabbitMQ-rabbitmqctl多机多节点和单机多节点集群搭建(五)
06-11 856
准备 　　1.准备3台物理机 我这里通过本地机和2台虚拟模拟我是mac通过(Parallel Desktop实现) 2.按照签名的liux安装步骤在3台机器都安装rabiitMq 3.将任意一节点的cookie复制到其他2台保证一致 cookie路径为$HOME/.erlang.cookie 可以通过echo $HOME 查看环境变量值 ...
ActiveMQ教程（二）- 集群
EugeneHeen
05-15 1180
序基础设施 zookeeper 程序协调服务框架，用于自动调度多个activemq activemq 消息队列框架，我们会部署多个activemq服务 规划假设我们有三台服务器： 192.168.0.200 部署activemq-master、zookeeper 192.168.0.201 部署activemq-slave01 192.168.0.202 部署activemq-slave0
springboot 使用activeMQ 连接不上
他的的博客空间
07-05 1928
在参照网上的springboot集成activeMQ时一直报错显示连接不上后面发现是导错了jar包，工程是在网上spring start生成的引用的是这个<dependency> <groupId>org.springframework.boot</groupId> <artifactId>...
Linux ActiveMq无法访问
weixin_43547220的博客
01-11 1376
情况描述 centos6.5安装完Activemq5.16,activemq启动成功,但是8161无法访问。 解决方案1（网上百度出的方案）： 1.修改/etc/sysconfig/network 修改 hostname=xxx, 不能有下划线 2.修改/etc/hosts 添加刚刚 修改hostname的名字. 3.reboot 重启 4.重新启动active 注：由于主机是公司公共主机，并且部署了很多其他重要应用，所以此方案未采纳，未验证。 解决方案2： 将 conf/activemq.xml 文件中
java怎么连接activemq集群_ActiveMQ之集群（主从）搭建-yellowcong
weixin_39846186的博客
02-27 591
ActiveMq的集群是依赖于Zookeeper的，ActiveMq的集群是，主从集群的方式，主的挂掉，才会自动切换到从，从的才开始运行。安装准备系统架构 Zookeeper架构节点服务目录192.168.100.10:2182zookeeper1/usr/local/zookeeper/zookeeper1192.168.100.10:2183zookeeper2/usr/local/zooke...
activemq集群配置说明
braveheartzj的博客
09-28 771
ActiveMQ集群         ActiveMQ具有强大和灵活的集群功能，但在使用的过程中会发现很多的缺点，ActiveMQ的集群方式主要由两种：Master-Slave和Broker Cluster。 1、Master-Slave         Master-Slave方式中，只能是Master提供服务，Slave是实时地备份Master的数据，以保证消息的可靠性。当M
Day177.ActiveMQ多节点集群 -ActiveMQ
阿昌爱Java
01-28 293
ActiveMQ ActiveMQ多节点集群 1、部署规划和步骤 1、大概流程： 如何保证高可用 ==》 搭建集群 ZooKeeper + Replicated LevelDB Store ==》 ​ 集群 http://activemq.apache.org/replicated-leveldb-store 这幅图的意思就是 Client们都连接Master，Slave不接收连接。当 Master 宕机后，zookeper 监测到没有心跳信号， 则认为 maste
activemq笔记3-zookeeper和mq实现主从
cccp_2009的博客
02-25 680
1、Zookeeper准备 1、解压zookeeper 2、Zookeeper目录中创建data目录 (1)目录中创建一个标记文件（用于区分不同zookeeper） (2)echo 1 >> myid 3、在conf配置文件件中复制zoo模板，并创建zoo.cfg（默认zookeeper读取zoo.cfg） 4、修改zoo.cfg配置文件 zookeeper主从端口分配 5、复制z...
ActiveMQ 笔记（七）ActiveMQ的多节点集群
喜欢历史的码农
01-02 3344
一、Activemq 的集群思想 1、使用Activemq集群的原因 面试题: 引入消息中间件后如何保证其高可用 2、集群实现思路 基于zookeeper和LevelDB搭建ActiveMQ集群。集群仅提供主备方式的高可用集群功能，避免单点故障。 3、集群方案（共有三种） 主要是基于zookeeper+replicated-leveldb-store的主从集群 基于shareFil...
ActiveMq主从架构和集群架构专题详解
05-05
介绍：本课程共8节内容，是从“精讲”课程中抽取出来的专题详解，内容包括主从架构的搭建和访问、分布式集群搭建和访问等。友情提示：该视频课程为免费课程，无法再次提供笔记和源码资料，欢迎大家支持我的付费课程，本网搜索张立坤讲师即可，谢谢大家支持！目标：通过本课程学习，能够很好的认识消息队列的高可用方案——主从架构和分布式集群架构，能够很好的理解这两种架构的优缺点并能实际的运用到生成环境中。适合人群：有一定java开发能力的中高级开发人员。
ActiveMQ高可用集群（ZooKeeper+LevelDB）部署教程
通过监控ZooKeeper状态和ActiveMQ节点的连接情况，确保集群的健康和高可用性。 7. **故障转移与恢复**： - 如果集群中的某个节点失效，由于伪集群的特性，ActiveMQ将自动切换到其他节点继续提供服务。在故障恢复后...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值