linux下搭建activemq高可用集群

最新推荐文章于 2024-09-27 13:57:32 发布
最新推荐文章于 2024-09-27 13:57:32 发布
阅读量6k 收藏 7
点赞数 2
分类专栏： Linux 文章标签： linux activemq 集群 高可用 负载均衡
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35206261/article/details/81154297
版权

一. 简介

           从 ActiveMQ 5.9 开始，ActiveMQ 的集群实现方式取消了传统的 Master-Slave 方式，增加了基于 ZooKeeper + LevelDB 的 Master-Slave 实现方式，其他两种方式目录共享和数据库共享依然存在。本文采用zookeeper来管理节点实现activemq的高可用。

           zookeeper集群的安装说明，请参照笔者的另一篇博客： linux下安装zookeeper集群

二. 集群部署说明

2.1 节点信息

 activemq.xmlactivemq.xmljetty.xml 
主机

集群端口

replicatedLevelDB.bind

消息端口

transportConnector.uri

管控台端口

jettyPort.port

安装目录
182.61.53.64tcp://0.0.0.0:62621515118161/home/env/activemq
182.61.61.90tcp://0.0.0.0:62622515128161/home/env/activemq
182.61.32.229tcp://0.0.0.0:62623515138161/home/env/activemq

 

 

 

 

 

2.2 安装activemq

           给三台服务器分别安装activemq. 

           activemq的安装说明，请参照笔者的另一篇博客： linux下安装activemq

 

三. 配置高可用

3.1 修改activemq.xml

3.1.1 修改brokerName

注： 三台机器要一致，此处，均改为"activemqCluster"

3.1.2 为persistenceAdapter添加replicatedLevelDB元素

注：zkAddress为之前搭好的三台zookeeper集群的地址。 

        其它俩台也这样修改，需要注意： zookeeper之间和ip:port之间不要有多余的空格。

        bind分别为 tcp://0.0.0.0:62621,tcp://0.0.0.0:62622,tcp://0.0.0.0:62623

        hostname要对应各自服务器的ip(182.61.61.90, 182.61.32.229)即可。         

         <persistenceAdapter>
            
            <!--  <kahaDB directory="${activemq.data}/kahadb"/>  -->
            
            <!-- activemq zookeeper high availiability -->
            <replicatedLevelDB
                directory="${activemq.data}/leveldb"
                replicas="3"
                bind="tcp://0.0.0.0:62623"
                zkAddress="182.61.53.64:2181,182.61.61.90:2181,182.61.32.229:2181"
                hostname="182.61.32.229"
                zkPath="/activemq/leveldb-stores"
                />
                
        </persistenceAdapter>

 

3.1.3 修改消息端口uri

注： 将uri的链接端口分别改为51511， 51512， 51513即可

 

四. 测试

4.1 控制台访问测试

        分别访问三台activemq的控制台，发现只有一台可以访问。

        关闭这台后，再访问另外俩台，发现有一台可以访问。

4.2 代码测试

4.2.1 代码

A.. pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.yzx</groupId>
    <artifactId>activemqdemo</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>activemqdemo</name>
    <description>Demo project for Spring Boot</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.3.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!-- activemq -->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-activemq</artifactId>
        </dependency>
        <dependency>
            <groupId>org.apache.activemq</groupId>
            <artifactId>activemq-pool</artifactId>
        </dependency>
        <!-- activemq -->

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.2.40</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>


</project>

B. application.yml

server:
  port: 8080

spring:
  activemq:
    #broker-url: tcp://47.106.116.228:61616
    broker-url: failover:(tcp://182.61.53.64:51511,tcp://182.61.61.90:51512,tcp://182.61.32.229:51513)
    user: admin
    password: admin
    pool:
      enabled: true
    packages:
      trust-all: true   # 如果使用ObjectMessage传输对象，必须要加上这个信任包，否则会报ClassNotFound异常
  jms:
    pub-sub-domain: true  # 启动主题消息

C. ActiveMqConfig

package com.yzx.activemqdemo.demo1;


import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.jms.config.DefaultJmsListenerContainerFactory;
import org.springframework.jms.config.JmsListenerContainerFactory;

import javax.jms.ConnectionFactory;

@Configuration
public class ActiveMqConfig {


    // queue模式的ListenerContainer
    @Bean
    public JmsListenerContainerFactory<?> jmsListenerContainerQueue(ConnectionFactory activeMQConnectionFactory) {
        DefaultJmsListenerContainerFactory bean = new DefaultJmsListenerContainerFactory();
        bean.setConnectionFactory(activeMQConnectionFactory);
        return bean;
    }


    // topic模式的ListenerContainer
    @Bean
    public JmsListenerContainerFactory<?> jmsListenerContainerTopic(ConnectionFactory activeMQConnectionFactory) {
        DefaultJmsListenerContainerFactory bean = new DefaultJmsListenerContainerFactory();
        bean.setPubSubDomain(true);
        bean.setConnectionFactory(activeMQConnectionFactory);
        return bean;
    }

}

D. MqProducer

package com.yzx.activemqdemo.demo1;

import org.apache.activemq.command.ActiveMQQueue;
import org.apache.activemq.command.ActiveMQTopic;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.jms.core.JmsMessagingTemplate;
import org.springframework.stereotype.Service;

import java.io.Serializable;
import java.util.List;

@Service
public class MqProducer {


    @Autowired
    private JmsMessagingTemplate jmsMessagingTemplate;


    /**
     * 发送字符串消息队列
     *
     * @param queueName 队列名称
     * @param message   字符串
     */
    public void sendStringQueue(String queueName, String message) {
        this.jmsMessagingTemplate.convertAndSend(new ActiveMQQueue(queueName), message);
    }


}

E. QueueConsumer

package com.yzx.activemqdemo.demo1;

import org.springframework.jms.annotation.JmsListener;
import org.springframework.stereotype.Component;

import javax.jms.ObjectMessage;
import java.util.List;

@Component
public class QueueConsumer {

    @JmsListener(destination = "stringQueue", containerFactory = "jmsListenerContainerQueue")
    public void receiveStringQueue(String msg) {
        System.out.println("接收到消息...." + msg);
    }


}

F. ActivemqdemoApplicationTests

package com.yzx.activemqdemo;

import com.yzx.activemqdemo.demo1.MqProducer;
import com.yzx.activemqdemo.demo1.User;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

import java.io.Serializable;
import java.util.ArrayList;
import java.util.List;

@RunWith(SpringRunner.class)
@SpringBootTest
public class ActivemqdemoApplicationTests {

    @Autowired
    private MqProducer mqProducer;


    @Test
    public void testStringQueue() {

        for (int i = 1; i <= 1000; i++) {
            System.out.println("第" + i + "次发送字符串队列消息");
            mqProducer.sendStringQueue("stringQueue", "消息：" + i);
        }
    }

}

4.2.2 运行结果

A. 初次正好选中主节点直接发消息

2018-07-29 18:21:34.503  INFO 25764 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://182.61.53.64:51511
2018-07-29 18:21:34.695  INFO 25764 --- [           main] c.y.a.ActivemqdemoApplicationTests       : Started ActivemqdemoApplicationTests in 4.931 seconds (JVM running for 6.787)
第1次发送字符串队列消息
第2次发送字符串队列消息
第3次发送字符串队列消息
接收到消息....消息：1
接收到消息....消息：2

B. 初次没有选中主节点，先报异常，然后直接选中主节点发消息

2018-07-29 18:23:08.454  INFO 23884 --- [ActiveMQ Task-1] o.a.a.t.failover.FailoverTransport       : Successfully connected to tcp://182.61.32.229:51513
2018-07-29 18:23:17.796  WARN 23884 --- [229:51513@55464] o.a.a.t.failover.FailoverTransport       : Transport (tcp://182.61.32.229:51513) failed , attempting to automatically reconnect: {}

java.net.SocketException: Software caused connection abort: recv failed
	at java.net.SocketInputStream.socketRead0(Native Method) ~[na:1.8.0_171]
	at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) ~[na:1.8.0_171]
	at java.net.SocketInputStream.read(SocketInputStream.java:189) ~[na:1.8.0_171]
	at java.net.SocketInputStream.read(SocketInputStream.java:141) ~[na:1.8.0_171]
	at org.apache.activemq.transport.tcp.TcpBufferedInputStream.fill(TcpBufferedInputStream.java:50) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport$2.fill(TcpTransport.java:634) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpBufferedInputStream.read(TcpBufferedInputStream.java:59) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport$2.read(TcpTransport.java:619) ~[activemq-client-5.15.4.jar:5.15.4]
	at java.io.DataInputStream.readInt(DataInputStream.java:387) ~[na:1.8.0_171]
	at org.apache.activemq.openwire.OpenWireFormat.unmarshal(OpenWireFormat.java:268) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.readCommand(TcpTransport.java:240) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.doRun(TcpTransport.java:232) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.run(TcpTransport.java:215) ~[activemq-client-5.15.4.jar:5.15.4]
	at java.lang.Thread.run(Thread.java:748) [na:1.8.0_171]

2018-07-29 18:23:17.847  INFO 23884 --- [ActiveMQ Task-2] o.a.a.t.failover.FailoverTransport       : Successfully reconnected to tcp://182.61.53.64:51511
2018-07-29 18:23:17.914  INFO 23884 --- [           main] c.y.a.ActivemqdemoApplicationTests       : Started ActivemqdemoApplicationTests in 14.434 seconds (JVM running for 16.723)
第1次发送字符串队列消息
第2次发送字符串队列消息
接收到消息....消息：1

 

C. 在发送消息的过程中，主节点挂了，会在zookeeper选举新的主节点之后继续将剩余的消息消费掉。

     为方便测试，将发送消息的数量调到1000， 中间关闭主节点64的mq.

第237次发送字符串队列消息
接收到消息....消息：236
2018-07-29 18:35:11.204  WARN 26616 --- [.64:51511@55365] o.a.a.t.failover.FailoverTransport       : Transport (tcp://182.61.53.64:51511) failed , attempting to automatically reconnect: {}

java.net.SocketException: Software caused connection abort: recv failed
	at java.net.SocketInputStream.socketRead0(Native Method) ~[na:1.8.0_171]
	at java.net.SocketInputStream.socketRead(SocketInputStream.java:116) ~[na:1.8.0_171]
	at java.net.SocketInputStream.read(SocketInputStream.java:189) ~[na:1.8.0_171]
	at java.net.SocketInputStream.read(SocketInputStream.java:141) ~[na:1.8.0_171]
	at org.apache.activemq.transport.tcp.TcpBufferedInputStream.fill(TcpBufferedInputStream.java:50) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport$2.fill(TcpTransport.java:634) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpBufferedInputStream.read(TcpBufferedInputStream.java:59) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport$2.read(TcpTransport.java:619) ~[activemq-client-5.15.4.jar:5.15.4]
	at java.io.DataInputStream.readInt(DataInputStream.java:387) ~[na:1.8.0_171]
	at org.apache.activemq.openwire.OpenWireFormat.unmarshal(OpenWireFormat.java:268) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.readCommand(TcpTransport.java:240) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.doRun(TcpTransport.java:232) ~[activemq-client-5.15.4.jar:5.15.4]
	at org.apache.activemq.transport.tcp.TcpTransport.run(TcpTransport.java:215) ~[activemq-client-5.15.4.jar:5.15.4]
	at java.lang.Thread.run(Thread.java:748) [na:1.8.0_171]

2018-07-29 18:35:39.313  INFO 26616 --- [ActiveMQ Task-2] o.a.a.t.failover.FailoverTransport       : Successfully reconnected to tcp://182.61.61.90:51512
2018-07-29 18:35:39.452  WARN 26616 --- [ Session Task-4] o.a.activemq.ActiveMQMessageConsumer     : ID:PC--20180608YMM-55364-1532860506351-1:1:10:1 suppressing duplicate delivery on connection, poison acking: MessageDispatch {commandId = 0, responseRequired = false, consumerId = ID:PC--20180608YMM-55364-1532860506351-1:1:10:1, destination = queue://stringQueue, message = ActiveMQTextMessage {commandId = 498, responseRequired = true, messageId = ID:PC--20180608YMM-55364-1532860506351-1:1:13:1:236, originalDestination = null, originalTransactionId = null, producerId = ID:PC--20180608YMM-55364-1532860506351-1:1:13:1, destination = queue://stringQueue, transactionId = null, expiration = 0, timestamp = 1532860511134, arrival = 0, brokerInTime = 1532860510868, brokerOutTime = 1532860539178, correlationId = null, replyTo = null, persistent = true, type = null, priority = 4, groupID = null, groupSequence = 0, targetConsumerId = null, compressed = false, userID = null, content = org.apache.activemq.util.ByteSequence@4311891c, marshalledProperties = org.apache.activemq.util.ByteSequence@139629ab, dataStructure = null, redeliveryCounter = 0, size = 0, properties = {timestamp=1532860511133}, readOnlyProperties = true, readOnlyBody = true, droppable = false, jmsXGroupFirstForConsumer = false, text = 消息：236}, redeliveryCounter = 0}
第238次发送字符串队列消息
接收到消息....消息：237
第239次发送字符串队列消息
接收到消息....消息：238

 

请叫我猿叔叔
关注
专栏目录
ActiveMQ学习笔记04 - 基于LevelDB的高可用
terrymanu的专栏
07-08 3372
ActiveMQ 5.9版本提供了基于LevelDB的高可用方式。
基于Docker搭建ActiveMQ的高可用集群
yang857160548的博客
07-20 6427
最近刚开始玩Docker和ActiveMQ刚好学习到ActiveMQ集群的搭建，就将其记录了下来给有需要的人，也可以跟大家交流交流。     这里先感谢慕课网和http://blog.csdn.net/lifetragedy/article/details/51869032，在学习ActiveMQ有很大的帮助。     一、docker坏境的搭建。     这里重点不是docke
JMS学习(六)-ActiveMQ的高可用性实现
weixin_33896069的博客
07-13 270
原文地址：http://www.cnblogs.com/hapjin/p/5663024.html   一，ActiveMQ高可用性的架构 ActiveMQ的高可用性架构是基于Master/Slave 模型的。ActiveMQ总共提供了四种配置方案来配置HA，其中Shared Nothing Master/Slave 在5.8版本之后不再使用了，并在ActiveMQ5.9版本中引入了基于Zo...
RabbitMQ 集群和高可用性
最新发布
Flying_Fish_roe的博客
09-27 965
RabbitMQ的集群和高可用性机制通过多节点部署、镜像队列、Quorum队列、消息持久化和跨数据中心部署等手段，有效提高了系统的可用性、可靠性和扩展性。合理配置和利用这些特性，能够帮助开发者构建高性能、可靠的消息队列系统，满足各种复杂的业务场景。
Apache ActiveMQ实战(2)-集群
weixin_30379531的博客
07-09 577
ActiveMQ的集群内嵌代理所引发的问题：消息过载管理混乱如何解决这些问题——集群的两种方式：Master slaveBroker clustersActiveMQ的集群有两种方式：MASTER/SLAVE模式Cluster模式Pure Master SlavePure master slave的工作方式：当master broker失效的时候。Slave broker 做出了两种不同的相...
ActiveMQ——3、ActiveMQ高可用与集群搭建
热门推荐
隔壁老王的专栏
12-29 1万+
1. ActiveMQ的高可用原理 使用ZooKeeper（集群）注册所有的ActiveMQ Broker。只有其中的一个Broker可以提供服务，被视为 Master，其他的 Broker 处于待机状态，被视为Slave。如果Master因故障而不能提供服务，Zookeeper会从Slave中选举出一个Broker充当Master。 Slave连接Master并同步他们的存储状态，Slave
ActiveMQ学习笔记（12）----ActiveMQ的集群
Teddies10081008的博客
11-01 184
1. Queue consumer cluster 　　ActiveMQ支持Consumer对消息的高可靠性的负载均衡消费，如果一个Consumer死掉，该消息会转发到其他的Consumer消费的Queue。如果一个Consumer获得消息比其他Consumer快，那么他将获得更多的消息。因此推荐ActiveMQ的Broker和Client使用failover://transport的...
linux环境下ActiveMQ持久化、集群环境搭建详解
11-03
Linux 环境下 ActiveMQ 持久化、集群环境搭建详解 在 Linux 环境下搭建 ActiveMQ 持久化和集群环境是一种复杂的任务，需要对 Linux 操作系统、Java 环境、ActiveMQ 等方面有深入的了解。以下是搭建 ActiveMQ 持久化...
ActiveMQ高可用集群（ZooKeeper+LevelDB）部署教程
总结来说，本文提供了如何在Linux环境下，利用ZooKeeper实现ActiveMQ高可用集群的技术细节，包括安装前的准备工作，配置伪集群模式，以及必要的网络设置。这对于企业级应用中处理大规模消息传递和保证业务连续性的...
linux上ActiveMQ 集群安装、配置和高可用测试
05-11 3902
从 ActiveMQ 5.9 开始，ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式，增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式，其他两种方式目录共享和数据库共享依然存在。    三种集群方式的对比：  (1)基于共享文件系统（KahaDB，默认）：        (2)基于 JDBC：
mysql 8.0 高可用_MySQL8.0 MIC高可用集群搭建
weixin_32715349的博客
01-27 1548
mysql8.0带来的新特性，结合MySQLshell，不须要第三方中间件，自动构建高可用集群。pythonmysql8.0做为一款新产品，其内置的mysq-innodb-cluster(MIC)高可用集群的技术确实惊艳，结合MySQLshell可以实施集群的快速部署，MySQL-route可以实现灾备快速切换，内置读写分离技术，负载均衡技术。结合但实际效果如何，还需验证。mysql一，集群部署l...
ActiveMQ集群
qq_43320187的博客
09-06 989
实现高可用，以排除单点故障引起的服务中断实现负载均衡，以提升效率为更多客户提供服务。
linux安装activeMQ 并集群（zookeeper+levelDB）
chicha2708的博客
02-28 150
准备三台机子（140 141 149） 1、分别下载安装 activeMQ # cd /usr/local/src # wgethttp://mirrors.cnnic.cn/apache//activemq/5.14.2/apache-activemq-5.14.2-bin.tar.g...
linux搭建activeMQ集群
df1067的博客
04-01 1826
1. 简介 这里是在linux虚拟机上搭建的zookeeper集群+基于levelDB的activeMQ集群，实际只有一台机 2.安装步骤 2.1 搭建zookeeper集群 2.1.1 准备zookeeper集群主机与端口 主机 客户端端口 集群通信端口 集群选举端口 127.0.0.1 2182 2887 3887 127.0.0.1 2183 2888 3888 127.0.0.1 2184 2889 388
Linux安装ActiveMQ集群
weixin_40329707的博客
11-17 159
进入/usr/local/apache-activemq-5.16.5/conf 中修改 activemq.xml 配置。去官网 http://activemq.apache.org/ 下载对应的版本压缩包，这里下载的是5.16.5版本。把压缩包上传到服务器，比如 /usr/local 目录。启动activeMQ：./activemq start。把上传到 /usr/local 的压缩包进行解压。停止ActiveMQ。
linux activemq集群,ActiveMQ高可用与集群搭建
weixin_39872123的博客
05-14 260
ActiveMQ的高可用性架构是基于Master/Slave 模型的,Master/Slave模式的搭建有好几种方式:1)Shared File System Master Slave 使用共享文件系统的方式2)JDBC Master Slave 使用数据库作为持久化存储3)基于zookeeper 方式搭建我们采取的是zookeeper的方式搭建Active高可用环境:步骤一:确保已经安装好jdk...
linux下搭建activemq集群(高可用)
cowbin2012的专栏
04-15 1万+
一. 简介 从 ActiveMQ 5.9 开始，ActiveMQ 的集群实现方式取消了传统的 Master-Slave 方式，增加了基于 ZooKeeper + LevelDB 的 Master-Slave 实现方式，其他两种方式目录共享和数据库共享依然存在。本文采用zookeeper来管理节点实现activemq的高可用。 二. 集群部署说明 2.1 节点信息 ZooKeeper集群 Z...
Linux下rabbitmq的集群搭建
进击的豌豆的博客
01-29 824
Linux下rabbitmq的集群搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值