ActiveMQ高可用集群的搭建

1        ActiveMQ集群的由来

单点的ActiveMQ作为企业应用无法满足业务的需求,因为单点的ActiveMQ存在单点故障问题,当该节点宕机以后,就会直接影响我们业务的正常运转,所以我们需要搭建高可用的ActiveMQ集群来支撑我们的业务系统

2        ActiveMQ集群的主要部署方式 2.1  默认的单机部署（kahadb）

activeMQ的默认存储的单机方式，以本地kahadb文件的方式存储，所以性能指标完全依赖本地磁盘IO，不能提供高可用。

<persistenceAdapter>
<kahaDB directory="${activemq.data}/kahadb"/>

</persistenceAdapter>

2.2  基于共享数据库的主从（Shared JDBC Master/Slave）

可以基于 postgres 、 mysql 、 oracle 等常用数据库。每个节点启动都会争抢数据库锁，从而保证 master 的唯一性，其他节点作为备份，一直等待数据库锁的释放。因为所有消息读写，其实都是数据库操作， activeMQ 节点本身压力很小，性能完全取决于数据库性能。优点：实现高可用和数据安全 , 简单灵活， 2 台节点就可以实现高可用 .  缺点：稳定性依赖数据库 , 性能依赖数据库 .

<beanid="mysql-ds"class="org.apache.commons.dbcp.BasicDataSource"destroy-method="close">
<property name="driverClassName"value="com.mysql.jdbc.Driver"/>
<property name="url" value="jdbc:mysql://localhost:3306/amq?relaxAutoCommit=true"/>
<property name="username" value="root"/>
<property name="password" value="root"/>
<property name="maxActive" value="20"/>
<property name="poolPreparedStatements"value="true"/>

</bean>

<persistenceAdapter>
<jdbcPersistenceAdapter dataDirectory="${activemq.data}"dataSource="#mysql-ds"
createTablesOnStartup="false"/>

</persistenceAdapter>

2.3  基于zookeeper以及可复制的 LevelDB实现

5.9.0 新推出的主从实现，基于 zookeeper 来选举出一个 master ，其他节点自动作为 slave 实时同步消息。因为有实时同步数据的 slave 的存在， master 不用担心数据丢失，所以 leveldb 会优先采用内存存储消息，异步同步到磁盘。所以该方式的 activeMQ 读写性能都最好 ，特别是写性能能够媲美非持久化消息。优点：实现高可用和数据安全性能较好 . 缺点：因为选举机制要超过半数，所以最少需要 3 台节点 ，才能实现高可用。
LevelDB  是  Google  开发的一套用于持久化数据的高性能类库。  LevelDB  并不是一种服务 , 用户需要自行实现  Server 。   是单进程的服务，能够处理十亿级别规模  Key-Value  型数据，占用内存小。

<persistenceAdapter>
<replicatedLevelDB
    directory="${activemq.data}/leveldb"
    replicas="3"
    bind="tcp://0.0.0.0:62621"
    zkAddress="localhost:2181,localhost:2182,localhost:2183"
    hostname="localhost"
    zkPath="/activemq/leveldb-stores"
/>

</persistenceAdapter>

了解完毕 ActiveMQ 集群的三种部署方式以后 , 我们本教程将采用第三种方式来建 ActiveMQ 集群 , 因为第三种的读写性能都最好的 .

3        ActiveMQ高可用原理

使用 ZooKeeper （集群）注册所有的 ActiveMQ Broker 。只有其中的一个 Broker 可以提供服务，被视为  Master ，其他的  Broker  处于待机状态，被视为 Slave 。如果 Master 因故障而不能提供服务， Zookeeper 会从 Slave 中选举出一个 Broker 充当 Master 。 Slave 连接 Master 并同步他们的存储状态， Slave 不接受客户端连接。所有的存储操作都将被复制到   连接至  Master 的 Slaves 。如果 Master 宕了，得到了最新更新的 Slave 会成为  Master 。故障节点在恢复后会重新加入到集群中并连接 Master 进入 Slave 模式。

1        基于zookeeper以及leveldb实现高可用ActiveMQ集群

了解完毕 ActiveMQ 集群的三种部署方式以后 , 我们本教程将采用第三种方式来建 ActiveMQ 集群 , 因为第三种的读写性能都最好的 .

1.1  ActiveMQ集群部署规划

环境：   CentOS 6.6 x64  、   JDK7
版本：   ActiveMQ 5.11.1

zookeeper 集群说明 :  192.168.221.141:2181 , 192.168.221.141:2182, 192.168.221.141:2183

集群节点规划说明 :

主机	集群间通信端口	消息端口	管控台端口	其他端口	安装目录
192.168.221.136	62621	11616	8161	以 1 开始即可	/usr/local/src/activemq-cluster
192.168.221.136	62622	21616	8162	以 2 开始即可
192.168.221.136	62623	31616	8163	以 3 开始即可

1.2  搭建ActiveMQ步骤 1.2.1           准备环境

Ø  在/usr/local/src/在创建activemq-cluster目录: mkdir –p /usr/local/src/activemq-cluster

Ø  上传activemq安装包到linux服务器下

Ø  解压activemq的安装包: tar –zxvf –C /usr/local/src/activemq-cluster

Ø  重命名: mv apache-activemq-5.12.0/ activemq-cluster-node01

Ø  以1节点为基础复制两个节点出来

²  cp –r activemq-cluster-node01 activemq-cluster-node02

²  cp –r activemq-cluster-node01 activemq-cluster-node03

1.2.2           修改管理控制台端口可在 conf/jetty.xml 中修改

node01 管控台端口

<bean  id="jettyPort"  class="org.apache.activemq.web.WebConsolePort"  init-method="start">            <property name="host"  value="0.0.0.0"/>            <property name="port"  value="8161"/>    </bean>

node02 管控台端口

<bean  id="jettyPort" class="org.apache.activemq.web.WebConsolePort"  init-method="start">            <property name="host"  value="0.0.0.0"/>            <property name="port"  value="8162"/>    </bean>

node03 管控台端口

<bean  id="jettyPort"  class="org.apache.activemq.web.WebConsolePort" init-method="start">            <property name="host"  value="0.0.0.0"/>            <property name="port"  value="8163"/>    </bean>

1.2.3           配置持久化适配器

在 3 个 ActiveMQ 节点中配置  conf/activemq.xml 中的持久化适配器。修改其中 bind、zkAddress、hostname 和 zkPath. 注意 : 每个  ActiveMQ  的  BrokerName  必须相同，否则不能加入集群。

node01- 持久化适配器 :

<broker  xmlns="http://activemq.apache.org/schema/core" brokerName="activemq-cluster"  dataDirectory="${activemq.data}">             <persistenceAdapter>                       <replicatedLevelDB                                directory="${activemq.data}/leveldb"                                replicas="3"                                bind="tcp://192.168.221.136:62621"                                zkAddress="192.168.80.129:2182,192.168.80.129:2183,192.168.80.129:2184"                                hostname="192.168.80.129"                                zkPath="/activemq/leveldb-stores"                       />             </persistenceAdapter>    </broker>

node02- 持久化适配器 :

<broker xmlns="http://activemq.apache.org/schema/core"  brokerName="activemq-cluster"  dataDirectory="${activemq.data}">             <persistenceAdapter>                       <replicatedLevelDB                                directory="${activemq.data}/leveldb"                                replicas="3"                                bind="tcp://192.168.221.136:62622"                                zkAddress="192.168.221.145:2181,192.168.221.145:2182,192.168.221.145:2183"                                hostname="192.168.221.136"                                zkPath="/activemq/leveldb-stores"                       />             </persistenceAdapter>    </broker>

node03- 持久化适配器 :

<broker  xmlns="http://activemq.apache.org/schema/core" brokerName="activemq-cluster"  dataDirectory="${activemq.data}">             <persistenceAdapter>                       <replicatedLevelDB                                directory="${activemq.data}/leveldb"                                replicas="3"                                bind="tcp://192.168.221.136:62623"                                zkAddress="192.168.221.145:2181,192.168.221.145:2182,192.168.221.145:2183"                                hostname="192.168.221.136"                                zkPath="/activemq/leveldb-stores"                       />             </persistenceAdapter>    </broker>

1.2.4           修改消息服务端口

node-01 消息服务端口:

<transportConnectors>                <transportConnector  name="openwire" uri="tcp://0.0.0.0:11616?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="amqp" uri="amqp://0.0.0.0:1672?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="stomp" uri="stomp://0.0.0.0:11613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="ws" uri="ws://0.0.0.0:11614?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>    </transportConnectors>

node-02 消息服务端口:

<transportConnectors>                <transportConnector  name="openwire" uri="tcp://0.0.0.0:21616?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="amqp" uri="amqp://0.0.0.0:2672?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="stomp" uri="stomp://0.0.0.0:21613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="mqtt" uri="mqtt://0.0.0.0:2883?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="ws" uri="ws://0.0.0.0:21614?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>    </transportConnectors>

node-03 消息服务端口:

<transportConnectors>                <transportConnector  name="openwire" uri="tcp://0.0.0.0:31616?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="amqp" uri="amqp://0.0.0.0:3672?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="stomp" uri="stomp://0.0.0.0:31613?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="mqtt" uri="mqtt://0.0.0.0:3883?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>                <transportConnector  name="ws" uri="ws://0.0.0.0:31614?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>    </transportConnectors>

1.2.5           启动3个ActiveMQ集群节点

/usr/local/src/activemq-cluster/apache-activemq-01/bin/activemq  start    /usr/local/src/activemq-cluster/apache-activemq-02/bin/activemq  start    /usr/local/src/activemq-cluster/apache-activemq-03/bin/activemq  start    监听日志    tail -f  /usr/local/src/activemq-cluster/apache-activemq-01/data/activemq.log    tail -f  /usr/local/src/activemq-cluster/apache-activemq-02/data/activemq.log    tail -f  /usr/local/src/activemq-cluster/apache-activemq-03/data/activemq.log

1.2.6           集群的节点状态分析

使用集群启动后对  ZooKeeper  数据的抓图，可以看到  ActiveMQ  的有  3  个节点，分别是  00000000019 ， 000000000020 ，  00000000021 。以下第一张图展现了  00000000019  的值，可以看到  elected  的值是不为空，说明这个节点是  Master ，其他两个节点是  Slave 。

1.1.1           集群测试

ActiveMQ 的客户端只能访问 MasterBroker, 其他处于 Slave 的 Broker 不能访问 . 所以客户端连接 Broker 应该使用 failover( 故障转移 ) 协议

failover:(tcp://192.168.221.136:11616,tcp://192.168.221.136:21616,tcp:// 192.168.221.136:31616)?randomize=false

1.1.2           客户端连接url配置优化

updateURIsURL ，通过  URL （或者本地路径）获取重连的  url ，这样做具有良好的扩展性，因为客户端每次连接都是从  URL （或文件）中加载一次，所以可以随时从文件中更新  url  列表，做到动态添加  MQ  的备点。 failover:()?randomize=false&updateURIsURL=file:/home/wusc/activemq/urllist.txt,urllist.txt  中的地址通过英文逗号分隔，示例：

tcp://192.168.221.136:11616,tcp://192.168.221.136:21616,tcp:// 192.168.221.136:31616

1.1.3           集群测试结果说明

当一个 ActiveMQ 节点挂掉 , 或者一个 ZooKeeper 节点挂掉 ,ActiveMQ 服务依然正常运转 . 如果仅剩一个 ActiveMQ 节点 , 因为不能选举 Master,ActiveMQ 不能正常运转 ; 同样的 , 如果 ZooKeeper 仅剩一个节点活动 . 不管 ActiveMQ  各节点是否存活 ,ActiveMQ 也不能正常提供服务。 (ActiveMQ  集群的高可用，依赖于  ZooKeeper  集群的高可用）。