Zookeeper+ActiveMQ集群搭建

5 篇文章 0 订阅
3 篇文章 0 订阅
1 前言

      使用ZooKeeper实现的Master-Slave实现方式,是对ActiveMQ进行高可用的一种有效的解决方案,高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQ Broker。只有其中的一个Broker可以对外提供服务(也就是Master节点),其 他的Broker处于待机状态,被视为Slave。如果Master因故障而不能提供服务, 则利用ZooKeeper的内部选举机制会从Slave中选举出一个Broker充当Master节 点,继续对外提供服务。

原理图:

这里写图片描述

官方文档:http://activemq.apache.org/replicated-leveldb-store.html

2 部署方案,ZooKeeper、ActiveMQ集群环境准备

这里需要下载apache-activemq-5.11.1bin.tar.gz、zookeeper-3.3.6.tar.gz文件,可以到官网去下载。

apache-activemq-5.11.1bin.tar.gz、zookeeper-3.3.6.tar.gz百度云链接:链接:https://pan.baidu.com/s/1ge5htFP 密码:lkb6

2、1 Zookeeper方案
主机IP消息端口通信端口节点目录/opt/下
192.168.0.10721812888:3888zookeeper-3.3.6
192.168.0.10821812888:3888zookeeper-3.3.6
192.168.0.10921812888:3888zookeeper-3.3.6
2、2 ActiveMQ方案
主机IP集群通信端口消息端口控制台端口节点目录/opt/下
192.168.0.10762621515118161activemq-cluster/node1/
192.168.0.10762621515128162activemq-cluster/node1/
192.168.0.10762621515138163activemq-cluster/node1/

ActiveMQ集群我部署在一台机器上而已,你感兴趣的话看完这篇文章,不妨你把ActiveMQ搭建到每一台机器上。

2、3 Zookeeper集群搭建

将zookeeper-3.3.6.tar.gz上传到/opt目录下

下面三台机器都是使用同一个操作,如有不同我会另作说明

解压

shell>tar -zxvf zookeeper-3.3.6.tar.gz

进入conf目录

shell>cd zookeeper-3.3.6/conf

将zoo_sample.cfg文件名改为zoo.cfg

shell>mv zoo_sample.cfg zoo.cfg

编辑zoo.cfg

shell>vim zoo.cfg

修改dataDir路径

dataDir=/opt/zookeeper-3.3.6/data

加入内容

server.0=192.168.0.109:2888:3888
server.1=192.168.0.107:2888:3888
server.2=192.168.0.108:2888:3888

我也不懂为什么上传后的图片变模糊了,估计是csdn.....

这里几个参数我说明一下:

tickTime: zookeeper中使用的基本时间单位, 毫秒值.
dataDir: 数据目录. 可以是任意目录.
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.(这里我不配置)
clientPort: 监听client连接的端口号.

还需修改最后一个文件zookeeper集群就算搭建完成了

进入data目录

shell>cd zookeeper-3.3.6/data

编辑myid每台机器只需要加入你在zoo.cfg中加入的server配置对应得数字即可。

shell>vim myid

192.168.0.109内容如下

0

192.168.0.108内容如下

1

192.168.0.107内容如下

2

好到这就算配置完成了启动zookeeper试一下,是否成功:

启动服务端:
这里写图片描述

启动客户端:

这里写图片描述

好zookeeper集群的搭建到这就完成了。

2、4 ActiveMQ集群搭建

将apache-activemq-5.11.1bin.tar.gz上传到/opt目录下

在192.168.0.107节点下,创建/opt/activemqcluster文件夹,解压apache-activemq-5.11.1bin.tar.gz文件,然后对解压好的文件改名,操作如下:

shell>mkdir /opt/activemq-cluster 
shell>cd opt/ 
shell>tar -zxvf apache-activemq-5.11.1-bin.tar.gz -C /opt/activemq-cluster/ 
shell>cd /opt/activemq-cluster/ 
shell>mv apache-activemq-5.11.1/ node1

如此操作,再次反复解压apache-activemq-5.11.1bin.tar.gz文件到/opt/activemq-cluster/下,建立node2和node3文件夹,如下:

那我们现在已经解压好了三个ActiveMQ节点也就是node1、node2、node3,下面 我们要做的事情就是更改每个节点不同的配置和端口(由于是在一台机器上实现集群)

1 修改控制台端口(默认为8161)

在mq安装路径下的conf/jetty.xml进行修改即可。(三个节点都要修改,并且端口都不同)

shell>cd /opt/activemq-cluster/node1/conf/ 

shell>vim jetty.xml

这里写图片描述

三个节点都需要修改为8161、8162、8163!!!

2 集群配置文件修改

我们在mq安装路径下的conf/activemq.xml进行修改其中的持久化适配器,修改其中的bind、zkAddress、hostname、zkPath。 然后也需要修改mq的brokerName,并且每个节点名称都必须相同。

命令:vim /opt/activemq-cluster/node1/conf/activemq.xml

第一处修改:brokerName=”activemq-cluster”(三个节点都需要修改)
这里写图片描述

第二处修改:先注释掉适配器(persistenceAdapter标签)中的kahadb,添加新的leveldb配置如下(三个节点都需要修改),内容如下:
Node1:

    <persistenceAdapter>
             <!--kahaDB directory="${activemq.data}/kahadb"/ -->
             <replicatedLevelDB
                    directory="${activemq.data}/leveldb"
                    replicas="3" 
                    bind="tcp://0.0.0.0:62621"
                    zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181"
                    hostname="hfbin107"
                    zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>

Node2:

        <persistenceAdapter>
                 <!--kahaDB directory="${activemq.data}/kahadb"/ -->
                 <replicatedLevelDB
                        directory="${activemq.data}/leveldb"
                        replicas="3" 
                        bind="tcp://0.0.0.0:62622"
                        zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181"
                        hostname="hfbin107"
                        zkPath="/activemq/leveldb-stores"/>
        </persistenceAdapter>

Node3:

        <persistenceAdapter>
                 <!--kahaDB directory="${activemq.data}/kahadb"/ -->
                 <replicatedLevelDB 
                        directory="${activemq.data}/leveldb" 
                        replicas="3" 
                        bind="tcp://0.0.0.0:62623" 
                        zkAddress="192.168.0.107:2181,192.168.0.108:2181,192.168.0.109:2181" 
                        hostname="hfbin107" 
                        zkPath="/activemq/leveldb-stores"/>
        </persistenceAdapter>

node1图片

第四处修改

修改通信的端口,避免冲突,大概在120行:

shell>vim /opt/activemq-cluster/node1/conf/activemq.xml 

这里写图片描述

修改这个文件的通信端口号,三个节点都需要修改(51511,51512,51513)

Ok,到此为止,我们的activemq集群环境已经搭建完毕!

3 测试启动activemq集群

第一步:启动zookeeper集群,命令:zkServer.sh start

第二步:启动mq集群:顺序启动mq:

shell>/opt/activemq-cluster/node1/bin/activemq start(关闭stop) 
shell>/opt/activemq-cluster/node2/bin/activemq start(关闭stop) 
shell>/opt/activemq-cluster/node3/bin/activemq start(关闭stop) 

这里写图片描述
第三步:查看日志信息:

shell>tail -f /opt/activemq-cluster/node1/data/activemq.log 
shell>tail -f /opt/activemq-cluster/node2/data/activemq.log 
shell>tail -f /opt/activemq-cluster/node3/data/activemq.log 

如果不报错,我们的集群启动成功,可以使用控制台查看!

这里有个小案例你可以试一下,运行结果需要你自己去动手了我这里截一两张图说明补了什么。具体操作我可以说一下你可以按照我说操作来看看结果如何。

生产端代码:

public class Sender {

    public static void main(String[] args) {
        try {
            //第一步:建立ConnectionFactory工厂对象,需要填入用户名、密码、以及要连接的地址,均使用默认即可,默认端口为"tcp://localhost:61616"
            ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(
                    ActiveMQConnectionFactory.DEFAULT_USER, 
                    ActiveMQConnectionFactory.DEFAULT_PASSWORD, 
                    "failover:(tcp://192.168.0.107:51511,tcp://192.168.0.108:51512,tcp://192.168.0.109:51513)?Randomize=false");

            //第二步:通过ConnectionFactory工厂对象我们创建一个Connection连接,并且调用Connection的start方法开启连接,Connection默认是关闭的。
            Connection connection = connectionFactory.createConnection();
            connection.start();

            //第三步:通过Connection对象创建Session会话(上下文环境对象),用于接收消息,参数配置1为是否启用是事务,参数配置2为签收模式,一般我们设置自动签收。
            Session session = connection.createSession(Boolean.FALSE, Session.AUTO_ACKNOWLEDGE);

            //第四步:通过Session创建Destination对象,指的是一个客户端用来指定生产消息目标和消费消息来源的对象,在PTP模式中,Destination被称作Queue即队列;在Pub/Sub模式,Destination被称作Topic即主题。在程序中可以使用多个Queue和Topic。
            Destination destination = session.createQueue("first");

            //第五步:我们需要通过Session对象创建消息的发送和接收对象(生产者和消费者)MessageProducer/MessageConsumer。
            MessageProducer producer = session.createProducer(null);

            //第六步:我们可以使用MessageProducer的setDeliveryMode方法为其设置持久化特性和非持久化特性(DeliveryMode),我们稍后详细介绍。
            //producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);

            //第七步:最后我们使用JMS规范的TextMessage形式创建数据(通过Session对象),并用MessageProducer的send方法发送数据。同理客户端使用receive方法进行接收数据。最后不要忘记关闭Connection连接。

            for(int i = 0 ; i < 500000 ; i ++){
                TextMessage msg = session.createTextMessage("我是消息内容" + i);
                // 第一个参数目标地址
                // 第二个参数 具体的数据信息
                // 第三个参数 传送数据的模式
                // 第四个参数 优先级
                // 第五个参数 消息的过期时间
                producer.send(destination, msg, DeliveryMode.NON_PERSISTENT, 0 , 1000L);
                System.out.println("发送消息:" + msg.getText());
                Thread.sleep(1000);

            }

            if(connection != null){
                connection.close();
            }           
        } catch (Exception e) {
            e.printStackTrace();
        }

    }
}

消费端:

public class Receiver {

    public static void main(String[] args)  {
        try {
            //第一步:建立ConnectionFactory工厂对象,需要填入用户名、密码、以及要连接的地址,均使用默认即可,默认端口为"tcp://localhost:61616"
            ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(
                    ActiveMQConnectionFactory.DEFAULT_USER, 
                    ActiveMQConnectionFactory.DEFAULT_PASSWORD, 
                    "failover:(tcp://192.168.0.107:51511,tcp://192.168.0.108:51512,tcp://192.168.0.109:51513)?Randomize=false");

            //第二步:通过ConnectionFactory工厂对象我们创建一个Connection连接,并且调用Connection的start方法开启连接,Connection默认是关闭的。
            Connection connection = connectionFactory.createConnection();
            connection.start();

            //第三步:通过Connection对象创建Session会话(上下文环境对象),用于接收消息,参数配置1为是否启用是事务,参数配置2为签收模式,一般我们设置自动签收。
            Session session = connection.createSession(Boolean.FALSE, Session.AUTO_ACKNOWLEDGE);

            //第四步:通过Session创建Destination对象,指的是一个客户端用来指定生产消息目标和消费消息来源的对象,在PTP模式中,Destination被称作Queue即队列;在Pub/Sub模式,Destination被称作Topic即主题。在程序中可以使用多个Queue和Topic。
            Destination destination = session.createQueue("first");
            //第五步:通过Session创建MessageConsumer
            MessageConsumer consumer = session.createConsumer(destination);

            while(true){
                TextMessage msg = (TextMessage)consumer.receive();
                if(msg == null) break;
                System.out.println("收到的内容:" + msg.getText());
            }           
        } catch (Exception e) {
            e.printStackTrace();
        }




    }
}

对代码不了解的可以去看我以前的文章。

      这里你先启动消费端代码,让消费端一直在等,然后再启动生产端(生产端生产五十万条数字),生产到上百条时候我模拟Node1(Master)挂掉了然后看看Node2(Slave)或Node3(Slave)有没有一个节点成为Master,这个只是我说的之一更多模拟可以自己搞。

说明:如何知道Node1是Master,就看你创建ConnectionFactory工厂对象的连接地址第一个地址默认为Master,你要是想确认是不是这里需要辅助的一些工具了。在这我就不做说明了,要是人想了解可以给我留言。

  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值