1 前言
使用ZooKeeper实现的Master-Slave实现方式,是对ActiveMQ进行高可用的一种有效的解决方案,高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQ Broker。只有其中的一个Broker可以对外提供服务(也就是Master节点),其 他的Broker处于待机状态,被视为Slave。如果Master因故障而不能提供服务, 则利用ZooKeeper的内部选举机制会从Slave中选举出一个Broker充当Master节 点,继续对外提供服务。
原理图:
官方文档:http://activemq.apache.org/replicated-leveldb-store.html
2 部署方案,ZooKeeper、ActiveMQ集群环境准备
这里需要下载apache-activemq-5.11.1bin.tar.gz、zookeeper-3.3.6.tar.gz文件,可以到官网去下载。
apache-activemq-5.11.1bin.tar.gz、zookeeper-3.3.6.tar.gz百度云链接:链接:https://pan.baidu.com/s/1ge5htFP 密码:lkb6
2、1 Zookeeper方案
主机IP | 消息端口 | 通信端口 | 节点目录/opt/下 |
---|---|---|---|
192.168.0.107 | 2181 | 2888:3888 | zookeeper-3.3.6 |
192.168.0.108 | 2181 | 2888:3888 | zookeeper-3.3.6 |
192.168.0.109 | 2181 | 2888:3888 | zookeeper-3.3.6 |
2、2 ActiveMQ方案
主机IP | 集群通信端口 | 消息端口 | 控制台端口 | 节点目录/opt/下 |
---|---|---|---|---|
192.168.0.107 | 62621 | 51511 | 8161 | activemq-cluster/node1/ |
192.168.0.107 | 62621 | 51512 | 8162 | activemq-cluster/node1/ |
192.168.0.107 | 62621 | 51513 | 8163 | activemq-cluster/node1/ |
ActiveMQ集群我部署在一台机器上而已,你感兴趣的话看完这篇文章,不妨你把ActiveMQ搭建到每一台机器上。
2、3 Zookeeper集群搭建
将zookeeper-3.3.6.tar.gz上传到/opt目录下
下面三台机器都是使用同一个操作,如有不同我会另作说明
解压
shell>tar -zxvf zookeeper-3.3.6.tar.gz
进入conf目录
shell>cd zookeeper-3.3.6/conf
将zoo_sample.cfg文件名改为zoo.cfg
shell>mv zoo_sample.cfg zoo.cfg
编辑zoo.cfg
shell>vim zoo.cfg
修改dataDir路径
dataDir=/opt/zookeeper-3.3.6/data
加入内容
server.0=192.168.0.109:2888:3888
server.1=192.168.0.107:2888:3888
server.2=192.168.0.108:2888:3888
这里几个参数我说明一下:
tickTime: zookeeper中使用的基本时间单位, 毫秒值.
dataDir: 数据目录. 可以是任意目录.
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.(这里我不配置)
clientPort: 监听client连接的端口号.
还需修改最后一个文件zookeeper集群就算搭建完成了
进入data目录
shell>cd zookeeper-3.3.6/data
编辑myid每台机器只需要加入你在zoo.cfg中加入的server配置对应得数字即可。
shell>vim myid
192.168.0.109内容如下
0
192.168.0.108内容如下
1
192.168.0.107内容如下
2
好到这就算配置完成了启动zookeeper试一下,是否成功:
启动服务端:
启动客户端:
好zookeeper集群的搭建到这就完成了。
2、4 ActiveMQ集群搭建
将apache-activemq-5.11.1bin.tar.gz上传到/opt目录下
在192.168.0.107节点下,创建/opt/activemqcluster文件夹,解压apache-activemq-5.11.1bin.tar.gz文件,然后对解压好的文件改名,操作如下:
shell>mkdir /opt/activemq-cluster
shell>cd opt/
shell>tar -zxvf apache-activemq-5.11.1-bin.tar.gz -C /opt/activemq-cluster/
shell>cd /opt/activemq-cluster/
shell>mv apache-activemq-5.11.1/ node1
如此操作,再次反复解压apache-activemq-5.11.1bin.tar.gz文件到/opt/activemq-cluster/下,建立node2和node3文件夹,如下:
那我们现在已经解压好了三个ActiveMQ节点也就是node1、node2、node3,下面 我们要做的事情就是更改每个节点不同的配置和端口(由于是在一台机器上实现集群)
1 修改控制台端口(默认为8161)
在mq安装路径下的conf/jetty.xml进行修改即可。(三个节点都要修改,并且端口都不同)
shell>cd /opt/activemq-cluster/node1/conf/
shell>vim jetty.xml
三个节点都需要修改为8161、8162、8163!!!
2 集群配置文件修改
我们在mq安装路径下的conf/activemq.xml进行修改其中的持久化适配器,修改其中的bind、zkAddress、hostname、zkPath。 然后也需要修改mq的brokerName,并且每个节点名称都必须相同。
命令:vim /opt/activemq-cluster/node1/conf/activemq.xml
第一处修改:brokerName=”activemq-cluster”(三个节点都需要修改)
第二处修改:先注释掉适配器(persistenceAdapter标签)中的kahadb,添加新的leveldb配置如下(三个节点都需要修改),内容如下:
Node1:
<persistenceAdapter>
<!--kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62621"
zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181"
hostname="hfbin107"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
Node2:
<persistenceAdapter>
<!--kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62622"
zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181"
hostname="hfbin107"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
Node3:
<persistenceAdapter>
<!--kahaDB directory="${activemq.data}/kahadb"/ -->
<replicatedLevelDB
directory="${activemq.data}/leveldb"
replicas="3"
bind="tcp://0.0.0.0:62623"
zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181"
hostname="hfbin107"
zkPath="/activemq/leveldb-stores"/>
</persistenceAdapter>
第四处修改
修改通信的端口,避免冲突,大概在120行:
shell>vim /opt/activemq-cluster/node1/conf/activemq.xml
修改这个文件的通信端口号,三个节点都需要修改(51511,51512,51513)
Ok,到此为止,我们的activemq集群环境已经搭建完毕!
3 测试启动activemq集群
第一步:启动zookeeper集群,命令:zkServer.sh start
第二步:启动mq集群:顺序启动mq:
shell>/opt/activemq-cluster/node1/bin/activemq start(关闭stop)
shell>/opt/activemq-cluster/node2/bin/activemq start(关闭stop)
shell>/opt/activemq-cluster/node3/bin/activemq start(关闭stop)
第三步:查看日志信息:
shell>tail -f /opt/activemq-cluster/node1/data/activemq.log
shell>tail -f /opt/activemq-cluster/node2/data/activemq.log
shell>tail -f /opt/activemq-cluster/node3/data/activemq.log
如果不报错,我们的集群启动成功,可以使用控制台查看!
这里有个小案例你可以试一下,运行结果需要你自己去动手了我这里截一两张图说明补了什么。具体操作我可以说一下你可以按照我说操作来看看结果如何。
生产端代码:
public class Sender {
public static void main(String[] args) {
try {
//第一步:建立ConnectionFactory工厂对象,需要填入用户名、密码、以及要连接的地址,均使用默认即可,默认端口为"tcp://localhost:61616"
ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(
ActiveMQConnectionFactory.DEFAULT_USER,
ActiveMQConnectionFactory.DEFAULT_PASSWORD,
"failover:(tcp://192.168.0.107:51511,tcp://192.168.0.108:51512,tcp://192.168.0.109:51513)?Randomize=false");
//第二步:通过ConnectionFactory工厂对象我们创建一个Connection连接,并且调用Connection的start方法开启连接,Connection默认是关闭的。
Connection connection = connectionFactory.createConnection();
connection.start();
//第三步:通过Connection对象创建Session会话(上下文环境对象),用于接收消息,参数配置1为是否启用是事务,参数配置2为签收模式,一般我们设置自动签收。
Session session = connection.createSession(Boolean.FALSE, Session.AUTO_ACKNOWLEDGE);
//第四步:通过Session创建Destination对象,指的是一个客户端用来指定生产消息目标和消费消息来源的对象,在PTP模式中,Destination被称作Queue即队列;在Pub/Sub模式,Destination被称作Topic即主题。在程序中可以使用多个Queue和Topic。
Destination destination = session.createQueue("first");
//第五步:我们需要通过Session对象创建消息的发送和接收对象(生产者和消费者)MessageProducer/MessageConsumer。
MessageProducer producer = session.createProducer(null);
//第六步:我们可以使用MessageProducer的setDeliveryMode方法为其设置持久化特性和非持久化特性(DeliveryMode),我们稍后详细介绍。
//producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);
//第七步:最后我们使用JMS规范的TextMessage形式创建数据(通过Session对象),并用MessageProducer的send方法发送数据。同理客户端使用receive方法进行接收数据。最后不要忘记关闭Connection连接。
for(int i = 0 ; i < 500000 ; i ++){
TextMessage msg = session.createTextMessage("我是消息内容" + i);
// 第一个参数目标地址
// 第二个参数 具体的数据信息
// 第三个参数 传送数据的模式
// 第四个参数 优先级
// 第五个参数 消息的过期时间
producer.send(destination, msg, DeliveryMode.NON_PERSISTENT, 0 , 1000L);
System.out.println("发送消息:" + msg.getText());
Thread.sleep(1000);
}
if(connection != null){
connection.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
消费端:
public class Receiver {
public static void main(String[] args) {
try {
//第一步:建立ConnectionFactory工厂对象,需要填入用户名、密码、以及要连接的地址,均使用默认即可,默认端口为"tcp://localhost:61616"
ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(
ActiveMQConnectionFactory.DEFAULT_USER,
ActiveMQConnectionFactory.DEFAULT_PASSWORD,
"failover:(tcp://192.168.0.107:51511,tcp://192.168.0.108:51512,tcp://192.168.0.109:51513)?Randomize=false");
//第二步:通过ConnectionFactory工厂对象我们创建一个Connection连接,并且调用Connection的start方法开启连接,Connection默认是关闭的。
Connection connection = connectionFactory.createConnection();
connection.start();
//第三步:通过Connection对象创建Session会话(上下文环境对象),用于接收消息,参数配置1为是否启用是事务,参数配置2为签收模式,一般我们设置自动签收。
Session session = connection.createSession(Boolean.FALSE, Session.AUTO_ACKNOWLEDGE);
//第四步:通过Session创建Destination对象,指的是一个客户端用来指定生产消息目标和消费消息来源的对象,在PTP模式中,Destination被称作Queue即队列;在Pub/Sub模式,Destination被称作Topic即主题。在程序中可以使用多个Queue和Topic。
Destination destination = session.createQueue("first");
//第五步:通过Session创建MessageConsumer
MessageConsumer consumer = session.createConsumer(destination);
while(true){
TextMessage msg = (TextMessage)consumer.receive();
if(msg == null) break;
System.out.println("收到的内容:" + msg.getText());
}
} catch (Exception e) {
e.printStackTrace();
}
}
}
对代码不了解的可以去看我以前的文章。
这里你先启动消费端代码,让消费端一直在等,然后再启动生产端(生产端生产五十万条数字),生产到上百条时候我模拟Node1(Master)挂掉了然后看看Node2(Slave)或Node3(Slave)有没有一个节点成为Master,这个只是我说的之一更多模拟可以自己搞。
说明:如何知道Node1是Master,就看你创建ConnectionFactory工厂对象的连接地址第一个地址默认为Master,你要是想确认是不是这里需要辅助的一些工具了。在这我就不做说明了,要是人想了解可以给我留言。