ActiveMQ的activemq.xml配置（内存设置、策略配置、流控、协议、认证授权）

最新推荐文章于 2021-08-13 00:50:21 发布

马丁半只瞄

最新推荐文章于 2021-08-13 00:50:21 发布

阅读量1.8w

点赞数 1

分类专栏：消息队列文章标签： ActiveMQ activemq.xml策略配置 activeMQ内存设置 activeMQ流控协议 activeMQ授权认证

本文链接：https://blog.csdn.net/fenglongmiao/article/details/79175062

版权

消息队列专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1.加载credentials.properties文

<!-- Allows us to use system properties as variables in this configuration file -->
    <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
        <property name="locations">
            <value>file:${activemq.conf}/credentials.properties</value>
        </property>
    </bean>

## ---------------------------------------------------------------------------
## Licensed to the Apache Software Foundation (ASF) under one or more
## contributor license agreements.  See the NOTICE file distributed with
## this work for additional information regarding copyright ownership.
## The ASF licenses this file to You under the Apache License, Version 2.0
## (the "License"); you may not use this file except in compliance with
## the License.  You may obtain a copy of the License at
## 
## http://www.apache.org/licenses/LICENSE-2.0
## 
## Unless required by applicable law or agreed to in writing, software
## distributed under the License is distributed on an "AS IS" BASIS,
## WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
## See the License for the specific language governing permissions and
## limitations under the License.
## ---------------------------------------------------------------------------

# Defines credentials that will be used by components (like web console) to access the broker

activemq.username=system
activemq.password=manager
guest.password=password

1、ActiveMQ内存设置

启动脚本：activemq的内存大小来自环境变量

# Set jvm memory configuration
    if [ -z "$ACTIVEMQ_OPTS_MEMORY" ] ; then
        ACTIVEMQ_OPTS_MEMORY="-Xms1G -Xmx1G"
    fi

2、broker策略配置：

<destinationPolicy>
    <policyMap>
      <policyEntries>
        <policyEntry topic=">" >
           
          <pendingMessageLimitStrategy>
            <constantPendingMessageLimitStrategy limit="1000"/>
          </pendingMessageLimitStrategy>
        </policyEntry>
        
        <policyEntry topic=">" producerFlowControl="true">  
<!-- 如果一个消费者消费消息的速度比较慢，这会对非持久化主题产生影响 -->  
<!-- 因为消息会在broker的内存中大量堆积，由于开启了producer-flow-control -->  
<!-- 将导致所有的生产者生产消息的速度放慢，这样即使某些消费消息速度非常 -->  
<!-- 快的消费者也将放慢其消费消息的速度-->  
<!-- 为此增加了以下几种策略控制 -->  
<!-- broker为该主题最多保存1000条消息，如果消息数目超过了1000,旧消息将被丢弃 -->    
        <pendingMessageLimitStrategy>  
            <constantPendingMessageLimitStrategy limit="1000"/>  
        </pendingMessageLimitStrategy>  
        
        <!-- 这里使用了wildcards,表示所有以FLM开头的topic -->
        <policyEntry topic="FLM.>" producerFlowControl="false" memoryLimit="10mb">
            <!-- 分发策略 -->
            <dispatchPolicy>
                <!-- 按顺序分发 -->
                <strictOrderDispatchPolicy/>
            </dispatchPolicy>
            <!-- 恢复策略 -->
            <subscriptionRecoveryPolicy>
                <!-- 只恢复最后一个message -->
                <lastIMageSubscriptionRecoveryPolicy/>
            </subscriptionRecoveryPolicy>
        </policyEntry>
      </policyEntries>
    </policyMap>
</destinationPolicy>

3、流控制

<!--
    The systemUsage controls the maximum amount of space the broker will
    use before disabling caching and/or slowing down producers. For more information, see:
    http://activemq.apache.org/producer-flow-control.html
  -->
<systemUsage>
    <systemUsage>
        <!-- broker一直没有可使用空间将有可能导致消息生产者的send()方法无限阻塞 -->  
        <!-- 一种替代方式是使用下面的配置，这时send()方法将会失败并抛出一个     -->  
        <!-- javax.jms.ResourceAllocationException异常                          -->  
        <!-- <systemUsage sendFailIfNoSpace="true">                             -->  
        <!-- 更好的解决方式如下，客户端会首先等待3000毫秒，然后再次尝试         -->  
        <!-- 如果此时broker依然没有足够的空间可用，才抛出异常                   --> 
        <memoryUsage sendFailIfNoSpaceAfterTimeout="3000">
            <!-- 非持久化消息占用Jvm内存大小 -->
            <memoryUsage percentOfJvmHeap="70" />
        </memoryUsage>
        <storeUsage>
            <!-- 持久化消息占用硬盘大小 -->
            <storeUsage limit="100 gb"/>
        </storeUsage>
        <tempUsage>
            <!-- 非持久化消息占用硬盘大小 -->
            <tempUsage limit="50 gb"/>
        </tempUsage>
    </systemUsage>
</systemUsage>

如果是嵌入式（embedded）方式使用的话，可以new一个SystemUsage来添加到BrokerService中去。这里配置的memoryUsage一定要小于jvm中设置的数量。

5.9.0后版本，如果设置的 memoryUsagelimit大于实际可用java heap size值，比如默认启动 xmx=1G，那么实际的java heap size大概是910M，

则broker启动时会log.error提示设置内存出错，然后强制使用实际java heap size* 70% = 637M作为memoryUsagelimit。

splitSystemUsageForProducersConsumers导致消费缓慢甚至无法消费的问题

其实broker中还可以单独配置生产者使用的producerSystemUsage 和消费者使用的consumerSystemUsage，格式跟systeUsage一样。

默认情况下，没有配置producerSystemUsage 和 consumerSystemUsage，则生产者和消费者都使用systemUsage。

这时可能会因为生产者线程把内存用完，导致消费者线程处理缓慢甚至无法消费的问题。这种情况下，添加消费端的机器和消费者数量可能都无法增加消费的速度。

解决办法就是：

在broker上设置splitSystemUsageForProducersConsumers=”true”，使得生产者线程和消费者线程各使用各的内存。

默认是生产者线程内存：消费者线程内存 = 6:4。

也可以通过如下两个参数设置生产者线程内存和消费者线程内存各一半：

producerSystemUsagePortion = 50

consumerSystemUsagePortion = 50

生产者流控

从5.x版本起，可以给每个producer单独设置流控。流控简单的说就是控制生产者的在内存使用限制下的行为。当然，流控的目的在于防止在将ActiveMQ作为内存MQ使用时，生产速度大于消费速度时将MQ撑爆的问题。

分两个情况：

1、同步发送消息（useAsynSend为false）：此时将在SystemUsage的限制下，使用destinationPolicy中的policyEntry中的限制，例如：

<destinationPolicy>

  <policyMap>

    <policyEntries>

      <policyEntry queue="queueA"producerFlowControl="true"memoryLimit="1mb">   

  <pendingQueuePolicy>

    <vmQueueCursor/>

  </pendingQueuePolicy>

</policyEntry>

    </policyEntries>

  </policyMap>

</destinationPolicy>

限制非持久化时queueA 的内存使用量为1mb，达到这个内存使用量时直接阻塞掉producer，直到有空余的内存时，才允许producer发送消息。

也可通过在systemUsage配置上设置sendFailIfNoSpace="true"或 sendFailIfNoSpaceAfterTimeout="3000"来控制客户端异常和等待时间。

异步发送时，由于不阻塞生产者，

可以通过connctionFactory.setProducerWindowSize(1024000);

来控制broker确认收到消息前生产者能发送的最大数据量（字节）。

消费者流控

消费者端，一般来说消费的越快越好，broker的积压越小越好。

但是考虑到事务性和客户端确认的情况，如果一个消费者一次获取到了很多消息却都不确认，这会造成事务上下文变大，broker端这种“半消费状态”的数据变多，所以ActiveMQ有一个prefetchSize参数来控制未确认情况下，最多可以预获取多少条记录。

默认情况如下：

持久化queue：1000条

非持久化queue： 1000条

持久化topic：100条

非持久化topic：无限制

可以通过3中方式设置prefetchSize

1、 tcp://localhost:61616?jms.prefetchPolicy.all=50

2、 tcp://localhost:61616?jms.prefetchPolicy.queuePrefetch=1

3、 queue = new ActiveMQQueue("TEST.QUEUE?consumer.prefetchSize=10");

----------------------------------------------------------------------------------------------------------------------------------

4、协议

可以看到在<transportConnectors>中包含了多个<transportConnector>对象，每一个对象都定义了监听的地址、端口以及使用的协议。不同的<transportConnector>的name和uri属性值必须不同。以上的配置定义了四个不同的<transportConnector>，那在启动ActiveMQ时，就可以看到如下输出：

INFO TransportServerThreadSupport - Listening for connections at:  
    tcp://localhost:61616  
    INFO TransportConnector - Connector openwire Started  
    INFO TransportServerThreadSupport - Listening for connections at:  
    ssl://localhost:61617  
    INFO TransportConnector - Connector ssl Started  
    INFO TransportServerThreadSupport - Listening for connections at:  
    stomp://localhost:61613  
    INFO TransportConnector - Connector stomp Started  
    INFO TransportServerThreadSupport - Listening for connections at:  
    xmpp://localhost:61222  
    INFO TransportConnector - Connector xmpp Started

去掉非必需的通信协议（Client与Broker、Broker与Broker之间使用该协议进行通信），只留下TCP协议（特别需要注意的是61616是broker的监听端口）：

<transportConnectors>
    <!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
    <transportConnector name="openwire" uri="tcp://0.0.0.0:61616?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600&trace=true"/>
    <!-- <transportConnector name="amqp" uri="amqp://0.0.0.0:5672?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="stomp" uri="stomp://0.0.0.0:61613?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="mqtt" uri="mqtt://0.0.0.0:1883?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/>
    <transportConnector name="ws" uri="ws://0.0.0.0:61614?maximumConnections=1000&amp;wireFormat.maxFrameSize=104857600"/> -->
</transportConnectors>

从客户端的角度来看，transportConnector的URI是用于和broker建立连接，以通过该连接来发送和接受消息。例如，以下Java代码通过之前配置文件中定义的”openwire“那个transportConnector来与broker建立连接：

    ActiveMQConnectionFactory factory =  
          new ActiveMQConnectionFactory("tcp://localhost:61616");  
      Connection connection = factory.createConnection();  
          connection.start();  
      Session session =  
          connection.createSession(false, Session.AUTO_ACKNOWLEDGE);

Transport Connector的可用协议

ActiveMQ最常用的场景是作为一个单独的程序运行，而客户端（包括消息生产者和消费者）通过某种网络协议来与ActiveMQ建立连接，并进行消息的收发。ActiveMQ支持多种网络协议，具体如下：

1. 传输控制协议 TCP

由于TCP具有可靠传输的特性，它在ActiveMQ中也是最长使用的一种协议。在默认的配置中，TCP连接的端口为61616.TCP Connector的URI的配置语法如下：

tcp://hostname:port?key=value&key=value
加粗的部分为必须部分，剩余的key/value部分为可选部分，不同的key/value用"&"符号分开。具体的可选部分详细介绍可以在http://activemq.apache.org/tcp-transport-reference.html这个网址中找到。可选部分用于定义broker的一些额外的行为，如假设我们进行如下配置：

<transportConnector　name="tcp"uri="tcp://localhost:61616?trace=true"/>
则broker会在日志中记录经过这个connector所发送的每一条消息，这对于调试会有很大的帮助。

2. New I/O API协议（NIO）

NIO是在Java SE 1.4开始引进的，用于提供一种网络编程和访问现代操作系统的底层I/O.NIO中使用最多的两种特性是selector和non-blocking I/O，它们使得开发人员可以使用相同的资源来处理更多的网络连接（如果不使用NIO技术，系统将无法承受这么多的网络连接）。

从客户端的角度来看，NIO transport connector与TCP connector是相同的，这是因为NIO connector实际上采用TCP来传输数据。唯一不同的是，NIO transport connector是利用NIO API实现的。这使得NIO在以下几种情况下更为适合：

你有大量的客户端需要连接broker。通常，与broker之间的连接数是受操作系统的线程数限制的，由于相比TCP connector而言，NIO connector会占用更少的线程。所以，当TCP connector无法满足要求时，可以考虑使用NIO进行替代。

你到broker之间存在严重的网路阻塞。NIO connector会比TCP connector拥有更好的性能，因为它会使用更少的资源。

NIO的配置语法与TCP的配置相似，只需将tcp替换成nio即可：

nio://hostname:port?key=value
NIO的默认监听端口是61618，它也有trace这个可以，用于决定是否记录所有传输的消息。

3. 用户数据包协议（UDP）

根据UDP的特性，它一般用于要求传出速率快，且能够忍受丢包发生的情况。你可以使用UDP协议来连接ActiveMQ的UDP connector。它的URI语法与TCP及NIO基本一致：

udp://hostname:port?key=value

完整的参考内容可以在http://activemq.apache.org/udp-transport-reference.html中找到，通常以下两种情况可以考虑使用UDP：

broker有防火墙的保护，只能通过UDP端口来访问；
消息传送对实时性要求非常高，可以通过UDP来尽可能的消除网络延迟；

由于UDP的不可靠特性，所以在使用时，必须考虑丢包时的处理。

4. SSL协议（Secure Sockets Layer Protocol）

当broker暴露于不安全的网络环境，而你的数据需要保密时，可以使用SSL。它是用于通过TCP传输加密数据的一种协议，它通过一对钥匙（公钥和私钥）来保证一条安全通道。ActiveMQ提供SSL connector，它的语法如下：

ssl://hostname:port?key=value
由于ssl采用TCP进行传输，它的选项跟TCP是一致的，当然如果你需要更加详细的说明，可以参考：http://activemq.apache.org/ssl-transport-reference.html，另外需要说明的是ssl connector默认监听616167端口。
与之前介绍的3中协议不同，ssl connector还需要ssl证书来保证其正确运行。JSSE提供了两类文件分别用于存储key和certification，用于存储key的文件称为keystores，存储certification的称为truststores.

5.HTTP/HTTPS协议

有些服务器的防火墙设置了只能提供HTTP访问，这时便是HTTP/HTTPS connector的地盘了。ActiveMQ实现的HTTP/HTTPS协议用于传输XML数据，它们的配置语法分别如下：

http://hostname:port?key=value
https://hostname:port?key=value
6. 虚拟机协议（virtual machine protocol， VM）

除了以上介绍的5中协议外，ActiveMQ还可以嵌入Java应用程序中，这样Java程序与broker之间的连接不会经过网络，而是在同一个JVM中进行，从而可以减少网络传输，大幅提升性能。这种方式成为虚拟机协议。

使用VM协议的broker拥有与其它协议相同的功能，VM connector的配置语法如下：

vm://brokerName?key=value
关于VM connector具体可以参见http://activemq.apache.org/vm-transport-reference.html。

五、认证授权