ActiveMQ+ZooKeeper 伪集群整合

最新推荐文章于 2021-03-19 09:25:42 发布

weixin_34365635

最新推荐文章于 2021-03-19 09:25:42 发布

阅读量209

点赞数

文章标签：大数据网络开发工具

原文链接：https://segmentfault.com/a/1190000014636822

版权

前言

本案例使用的是伪集群方式，即在一台主机上部署3个activemq服务（端口不同）+3个zookeeper服务（端口不同）。

真集群部署请看：ActiveMQ+ZooKeeper集群整合
如果需要了解ActiveMQ集群部署的整体概念，可以参考我这篇文章：ActiveMQ集群整体认识

原理简介：
一般在部署ActiveMQ集群的时候，更倾向于使用基于ZooKeeper的Replicated LevelDB Store方式，该方式是Master Slave部署方案的其中一种策略，也是在多台主机实现ActiveMQ集群的主流部署方式。此教程只保证了高可用性。要想保证负载均衡得再结合Broker Clusters 部署方案，配置网络连接器。

工作流程：
在ZooKeeper中管理多个Broker节点，根据 Master选举策略让其中一个 Broker选举为Master（只有Master才具备对外提供服务的能力），剩下Broker为slave。
编码时，client端（消费者）通过failover协议来连接ActiveMQ集群。

一、服务端配置

1. ZooKeeper伪集群配置

--	服务端口	集群通信端口	节点目录/opt/下
zk1	2181	2887:3887	/zookeeper/zk1
zk2	2182	2888:3888	/zookeeper/zk2
zk3	2183	2889:3889	/zookeeper/zk3

集群通信端口：第一个端口是master和slave之间的通信端口，默认是2888；第二个端口是leader选举的端口，集群刚启动的时候选举或者leader挂掉之后进行新的选举的端口默认是3888。

在/opt/zookeeper下复制3个zookeeper服务，并分别配置它们的文件conf/zoo.cfg:

zk1：
zk1/conf/zoo.cfg:

# zookeeper的数据存储和日志存储目录（如果目录不存在就新建）
dataDir=/opt/zookeeper/zk1/data
dataLogDir=/opt/zookeeper/zk1/log

#服务端口
clientPort=2181

# zk集群之间的通信地址
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

创建zk1/data/myid文件,填入数字1：

# 由于该zk1是server.1，所以在myid中设置数字1
$ vim /opt/zookeeper/zk1/data/myid

zk2：
zk2/conf/zoo.cfg:

# zookeeper的数据存储和日志存储目录（如果目录不存在就新建）
dataDir=/opt/zookeeper/zk2/data
dataLogDir=/opt/zookeeper/zk2/log

#服务端口
clientPort=2182

# zk集群之间的通信地址
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

创建zk2/data/myid文件,填入数字1：

# 由于该zk2是server.2，所以在myid中设置数字2
$ vim /opt/zookeeper/zk2/data/myid

zk3：
zk3/conf/zoo.cfg:

# zookeeper的数据存储和日志存储目录（如果目录不存在就新建）
dataDir=/opt/zookeeper/zk3/data
dataLogDir=/opt/zookeeper/zk3/log

#服务端口
clientPort=2183

# zk集群之间的通信地址
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

创建zk3/data/myid文件,填入数字3：

# 由于该zk3是server.3，所以在myid中设置数字3
$ vim /opt/zookeeper/zk3/data/myid

1.2 分别启动zookeeper服务

$ /opt/zookeeper/zk1/bin/zkServer.sh start # 启动zk1服务
$ /opt/zookeeper/zk2/bin/zkServer.sh start # 启动zk2服务
$ /opt/zookeeper/zk3/bin/zkServer.sh start # 启动zk3服务

$ /opt/zookeeper/zk1/bin/zkServer.sh status # 查看zk1服务状态
$ /opt/zookeeper/zk2/bin/zkServer.sh status # 查看zk2服务状态
$ /opt/zookeeper/zk3/bin/zkServer.sh status # 查看zk3服务状态

2. ActiveMQ伪集群配置

2.1 修改ActiveMQ配置文件`conf/activemq.xml`和`conf/jetty.xml`

--	服务端口	jetty控制台端口	节点目录/opt/下
node1	61616	8161	/activemq/node1
node2	61617	8162	/activemq/node2
node3	61618	8163	/activemq/node3

在/opt/activemq/复制3个activemq服务，并分别配置它们的文件conf/activemq.xml和conf/jetty.xml:
conf/jetty.xml:

node1：
/opt/activemq/node1/conf/activemq.xml：

<!-- activemq支持5种协议：openwire、amqp、 stomp、mqtt、ws，这里我们只使用openwire协议，注释其它协议 -->
<transportConnectors>
    <!-- node1服务端口使用默认端口61616 -->
    <transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <!--
    <transportConnector name="amqp" uri="amqp://0.0.0.0:5672?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="stomp" uri="stomp://0.0.0.0:61613?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="ws" uri="ws://0.0.0.0:61614?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    -->
</transportConnectors>

<!-- 持久化的部分为ZooKeeper集群连接地址-->  
<persistenceAdapter>  
    <replicatedLevelDB  
      directory="${activemq.data}/leveldb"  
      replicas="3"  
      bind="tcp://0.0.0.0:0"  
      zkAddress="localhost:2181,localhost:2182,localhost:2183"   
      zkPath="/opt/activemq/leveldb-stores"  
      hostname="localhost"  
      />  
</persistenceAdapter>
<!-- 
# directory： 存储数据的路径
# replicas：集群中的节点数【(replicas/2)+1公式表示集群中至少要正常运行的服务数量】，3台集群那么允许1台宕机， 另外两台要正常运行  
# bind：当该节点成为master后，它将绑定已配置的地址和端口来为复制协议提供服务。还支持使用动态端口。只需使用tcp://0.0.0.0:0进行配置即可，默认端口为61616。 
# zkAddress：ZK的ip和port， 如果是集群，则用逗号隔开(这里作为简单示例ZooKeeper配置为单点， 这样已经适用于大多数环境了， 集群也就多几个配置) 
# zkPassword：当连接到ZooKeeper服务器时用的密码，没有密码则不配置。 
# zkPah：ZK选举信息交换的存贮路径，启动服务后actimvemq会到zookeeper上注册生成此路径   
# hostname： ActiveMQ所在主机的IP
# 更多参考：http://activemq.apache.org/replicated-leveldb-store.html
-->

/opt/activemq/conf/jetty.xml：

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8161"/> <!-- 在这里修改端口为8161,默认就是8161 -->
</bean>

node2：
/opt/activemq/node2/conf/activemq.xml：

<transportConnectors>
    <!-- 服务端口改为61617 -->
    <transportConnector name="openwire" uri="tcp://0.0.0.0:61617?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

<!-- 持久化的部分为ZooKeeper集群连接地址-->  
<persistenceAdapter>  
    <replicatedLevelDB  
      directory="${activemq.data}/leveldb"  
      replicas="3"  
      bind="tcp://0.0.0.0:0"  
      zkAddress="localhost:2181,localhost:2182,localhost:2183"   
      zkPath="/opt/activemq/leveldb-stores"  
      hostname="localhost"  
      />  
</persistenceAdapter>

/opt/activemq/conf/jetty.xml：

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8162"/> <!-- 在这里修改端口为8162,默认是8161 -->
</bean>

node3：
/opt/activemq/node3/conf/activemq.xml：

<transportConnectors>
    <!-- 服务端口改为61618 -->
    <transportConnector name="openwire" uri="tcp://0.0.0.0:61618?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

<!-- 持久化的部分为ZooKeeper集群连接地址-->  
<persistenceAdapter>  
    <replicatedLevelDB  
      directory="${activemq.data}/leveldb"  
      replicas="3"  
      bind="tcp://0.0.0.0:0"  
      zkAddress="localhost:2181,localhost:2182,localhost:2183"   
      zkPath="/opt/activemq/leveldb-stores"  
      hostname="localhost"  
      />  
</persistenceAdapter>

/opt/activemq/node3/conf/jetty.xml：

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8163"/> <!-- 在这里修改端口为8163,默认是8161 -->
</bean>

2.2 依次启动activemq服务

$ /opt/activemq/node1/bin/activemq start # 启动节点node1服务
$ /opt/activemq/node2/bin/activemq start # 启动节点node2服务
$ /opt/activemq/node3/bin/activemq start # 启动节点node3服务

$ ps -ef|grep activemq # 检查进程是否运行，即activemq是否启动成功
$ netstat -anp|grep 61616 # 查看服务端口61616，监听情况
$ netstat -anp|grep 61617 # 查看服务端口61617，监听情况
$ netstat -anp|grep 61618 # 查看服务端口61618，监听情况

三、Client使用

该zookeeper+activemq的集群Master Slave部署方案，能够提供(3-1)/2的容错率，即3台服务器允许宕机一台，而不影响整个集群的对外提供服务。

编写代码连接时使用failover策略：

String url = failover:(tcp://192.168.100.142:61616,tcp://192.168.100.142:61617,tcp://192.168.100.142:61618)?initialReconnectDelay=1000