ActiveMQ的持久化(数据库)

最新推荐文章于 2024-09-18 09:23:25 发布
最新推荐文章于 2024-09-18 09:23:25 发布
阅读量132 收藏
点赞数
分类专栏： JMS(MQ) 文章标签： ActiveMQ 数据结构 MySQL Bean Apache

   利用消息队列的异步策略，可以从很大程序上缓解程序的压力，但是，如果MQ所在的机器down机了,又如果队列中的数据不是持久的就会发生数据丢失，后果是可想而知的， 所以消息的持久化是不可不讨论的话题。

 

   1) 关于ActiveMQ消息队列的持久化，主要是在ActiveMQ的配置文件中设置(看粗体部分).

  

<!--
    Licensed to the Apache Software Foundation (ASF) under one or more
    contributor license agreements.  See the NOTICE file distributed with
    this work for additional information regarding copyright ownership.
    The ASF licenses this file to You under the Apache License, Version 2.0
    (the "License"); you may not use this file except in compliance with
    the License.  You may obtain a copy of the License at
   
    http://www.apache.org/licenses/LICENSE-2.0
   
    Unless required by applicable law or agreed to in writing, software
    distributed under the License is distributed on an "AS IS" BASIS,
    WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    See the License for the specific language governing permissions and
    limitations under the License.
-->
<!-- START SNIPPET: example -->
<beans
  xmlns="http://www.springframework.org/schema/beans"
  xmlns:amq="http://activemq.apache.org/schema/core"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.0.xsd
  http://activemq.apache.org/schema/core http://activemq.apache.org/schema/core/activemq-core.xsd   
  http://activemq.apache.org/camel/schema/spring http://activemq.apache.org/camel/schema/spring/camel-spring.xsd">

    <!-- Allows us to use system properties as variables in this configuration file -->
    <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer">
         <property name="locations">
            <value>file:///${activemq.base}/conf/credentials.properties</value>
         </property>      
    </bean>

    <broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost" dataDirectory="${activemq.base}/data">

        <!-- Destination specific policies using destination names or wildcards -->
        <destinationPolicy>
            <policyMap>
                <policyEntries>
                    <policyEntry queue=">" memoryLimit="5mb"/>
                    <policyEntry topic=">" memoryLimit="5mb">
                      <!-- you can add other policies too such as these
                        <dispatchPolicy>
                            <strictOrderDispatchPolicy/>
                        </dispatchPolicy>
                        <subscriptionRecoveryPolicy>
                            <lastImageSubscriptionRecoveryPolicy/>
                        </subscriptionRecoveryPolicy>
                      -->
                    </policyEntry>
                </policyEntries>
            </policyMap>
        </destinationPolicy>

        <!-- Use the following to configure how ActiveMQ is exposed in JMX -->
        <managementContext>
            <managementContext createConnector="false"/>
        </managementContext>

        <!-- The store and forward broker networks ActiveMQ will listen to -->
        <networkConnectors>
            <!-- by default just auto discover the other brokers -->
            <networkConnector name="default-nc" uri="multicast://default"/>
            <!-- Example of a static configuration:
            <networkConnector name="host1 and host2" uri="static://(tcp://host1:61616,tcp://host2:61616)"/>
            -->
        </networkConnectors>

        <persistenceAdapter>
            <amqPersistenceAdapter syncOnWrite="false" directory="${activemq.base}/data" maxFileLength="20 mb"/>
        </persistenceAdapter>

        <!-- Use the following if you wish to configure the journal with JDBC -->
        <!--
        <persistenceAdapter>
            <journaledJDBC dataDirectory="${activemq.base}/data" dataSource="#postgres-ds"/>
        </persistenceAdapter>
        -->

        <!-- Or if you want to use pure JDBC without a journal -->
        
        <persistenceAdapter>
            <jdbcPersistenceAdapter dataSource="#mysql-ds"/>
        </persistenceAdapter>
     

        <sslContext>
            <sslContext keyStore="file:${activemq.base}/conf/broker.ks" keyStorePassword="password" trustStore="file:${activemq.base}/conf/broker.ts" trustStorePassword="password"/>
        </sslContext>
        
        <!--  The maximum about of space the broker will use before slowing down producers -->
        <systemUsage>
            <systemUsage>
                <memoryUsage>
                    <memoryUsage limit="20 mb"/>
                </memoryUsage>
                <storeUsage>
                    <storeUsage limit="1 gb" name="foo"/>
                </storeUsage>
                <tempUsage>
                    <tempUsage limit="100 mb"/>
                </tempUsage>
            </systemUsage>
        </systemUsage>


        <!-- The transport connectors ActiveMQ will listen to -->
        <transportConnectors>
            <transportConnector name="openwire" uri="tcp://localhost:61616" discoveryUri="multicast://default"/>
            <transportConnector name="ssl" uri="ssl://localhost:61617"/>
            <transportConnector name="stomp" uri="stomp://localhost:61613"/>
            <transportConnector name="xmpp" uri="xmpp://localhost:61222"/>
        </transportConnectors>

    </broker>

    <!--
    ** Lets deploy some Enterprise Integration Patterns inside the ActiveMQ Message Broker
    ** For more details see
    **
    ** http://activemq.apache.org/enterprise-integration-patterns.html
    -->
    <camelContext id="camel" xmlns="http://activemq.apache.org/camel/schema/spring">

        <!-- You can use a <package> element for each root package to search for Java routes -->
        <package>org.foo.bar</package>

        <!-- You can use Spring XML syntax to define the routes here using the <route> element -->
        <route>
            <from uri="activemq:example.A"/>
            <to uri="activemq:example.B"/>
        </route>
    </camelContext>

    <!--
    ** Lets configure some Camel endpoints
    **
    ** http://activemq.apache.org/camel/components.html
    -->

    <!-- configure the camel activemq component to use the current broker -->
    <bean id="activemq" class="org.apache.activemq.camel.component.ActiveMQComponent" >
        <property name="connectionFactory">
          <bean class="org.apache.activemq.ActiveMQConnectionFactory">
            <property name="brokerURL" value="vm://localhost?create=false&amp;waitForStart=10000" />
            <property name="userName" value="${activemq.username}"/>
            <property name="password" value="${activemq.password}"/>
          </bean>
        </property>
    </bean>



    <!-- Uncomment to create a command agent to respond to message based admin commands on the ActiveMQ.Agent topic -->
    <!--
    <commandAgent xmlns="http://activemq.apache.org/schema/core" brokerUrl="vm://localhost" username="${activemq.username}" password="${activemq.password}"/>
    -->


    <!-- An embedded servlet engine for serving up the Admin console -->
    <jetty xmlns="http://mortbay.com/schemas/jetty/1.0">
        <connectors>
            <nioConnector port="8161"/>
        </connectors>

        <handlers>
            <webAppContext contextPath="/admin" resourceBase="${activemq.base}/webapps/admin" logUrlOnStart="true"/>
            <webAppContext contextPath="/demo" resourceBase="${activemq.base}/webapps/demo" logUrlOnStart="true"/>
            <webAppContext contextPath="/fileserver" resourceBase="${activemq.base}/webapps/fileserver" logUrlOnStart="true"/>
        </handlers>
    </jetty>

    <!--  This xbean configuration file supports all the standard spring xml configuration options -->

    <!-- Postgres DataSource Sample Setup -->
    <!--
    <bean id="postgres-ds" class="org.postgresql.ds.PGPoolingDataSource">
      <property name="serverName" value="localhost"/>
      <property name="databaseName" value="activemq"/>
      <property name="portNumber" value="0"/>
      <property name="user" value="activemq"/>
      <property name="password" value="activemq"/>
      <property name="dataSourceName" value="postgres"/>
      <property name="initialConnections" value="1"/>
      <property name="maxConnections" value="10"/>
    </bean>
    -->

    <!-- MySql DataSource Sample Setup -->
    
    <bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
      <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
      <property name="url" value="jdbc:mysql://localhost:3306/activemq?relaxAutoCommit=true"/>
      <property name="username" value="root"/>
      <property name="password" value=""/>
      <property name="maxActive" value="200"/>
      <property name="poolPreparedStatements" value="true"/>
    </bean>
 
    
    <!-- Oracle DataSource Sample Setup -->
    <!--
    <bean id="oracle-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
      <property name="driverClassName" value="oracle.jdbc.driver.OracleDriver"/>
      <property name="url" value="jdbc:oracle:thin:@localhost:1521:AMQDB"/>
      <property name="username" value="scott"/>
      <property name="password" value="tiger"/>
      <property name="maxActive" value="200"/>
      <property name="poolPreparedStatements" value="true"/>
    </bean>
    -->

    <!-- Embedded Derby DataSource Sample Setup -->
    <!--
    <bean id="derby-ds" class="org.apache.derby.jdbc.EmbeddedDataSource">
      <property name="databaseName" value="derbydb"/>
      <property name="createDatabase" value="create"/>
    </bean>
    -->

</beans>
<!-- END SNIPPET: example -->

 

    改动部分主要是设置了mysql的datasource声明, 还有就是采用mysql作为persistenceAdapter,并声明如下。

 

  <bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
      <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
      <property name="url" value="jdbc:mysql://localhost:3306/activemq?relaxAutoCommit=true"/>
      <property name="username" value="root"/>
      <property name="password" value=""/>
      <property name="maxActive" value="200"/>
      <property name="poolPreparedStatements" value="true"/>
    </bean>



  <persistenceAdapter>
            <jdbcPersistenceAdapter dataSource="#mysql-ds"/>
  </persistenceAdapter>

 

  

 

 

 

 2) 把数据库的驱动放入ActiveMQ的lib中，使其能够访问相应的数据库，关于数据库的表结构，ActiveMQ会自动创建，但是前提是当ActiveMQ启动以后，声明的数据库要是存在的。

    测试的时候发现以上条件都满足ActiveMQ还是会抛异常，看了一下异常，是有一张表（activemq_acks）创建的时候出了问题，自己手动创建后好了，把表结构列出来。

 

-- phpMyAdmin SQL Dump
-- version 2.10.2
-- http://www.phpmyadmin.net
-- 
-- 主机: localhost
-- 生成日期: 2009 年 11 月 06 日 05:29
-- 服务器版本: 5.0.45
-- PHP 版本: 5.2.3

SET SQL_MODE="NO_AUTO_VALUE_ON_ZERO";

-- 
-- 数据库: `activemq`
-- 

-- --------------------------------------------------------

-- 
-- 表的结构 `activemq_acks`
-- 

CREATE TABLE `activemq_acks` (
  `SUB` varchar(250) collate utf8_bin NOT NULL,
  `CONTAINER` varchar(250) collate utf8_bin NOT NULL,
  `LAST_ACKED_ID` int(11) default NULL,
  `SE_ID` int(11) default NULL,
  `SE_CLIENT_ID` varchar(250) collate utf8_bin default NULL,
  `SE_CONSUMER_NAME` varchar(250) collate utf8_bin default NULL,
  `SE_SELECTOR` varchar(250) collate utf8_bin default NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

-- 
-- 导出表中的数据 `activemq_acks`
-- 


-- --------------------------------------------------------

-- 
-- 表的结构 `activemq_lock`
-- 

CREATE TABLE `activemq_lock` (
  `ID` bigint(20) NOT NULL,
  `TIME` bigint(20) default NULL,
  `BROKER_NAME` varchar(250) collate utf8_bin default NULL,
  PRIMARY KEY  (`ID`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

-- 
-- 导出表中的数据 `activemq_lock`
-- 

INSERT INTO `activemq_lock` (`ID`, `TIME`, `BROKER_NAME`) VALUES 
(1, 1257485355546, NULL);

-- --------------------------------------------------------

-- 
-- 表的结构 `activemq_msgs`
-- 

CREATE TABLE `activemq_msgs` (
  `ID` int(11) NOT NULL,
  `CONTAINER` varchar(250) collate utf8_bin default NULL,
  `MSGID_PROD` varchar(250) collate utf8_bin default NULL,
  `MSGID_SEQ` int(11) default NULL,
  `EXPIRATION` bigint(20) default NULL,
  `MSG` longblob,
  PRIMARY KEY  (`ID`),
  KEY `ACTIVEMQ_MSGS_MIDX` (`MSGID_PROD`,`MSGID_SEQ`),
  KEY `ACTIVEMQ_MSGS_CIDX` (`CONTAINER`),
  KEY `ACTIVEMQ_MSGS_EIDX` (`EXPIRATION`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

-- 
-- 导出表中的数据 `activemq_msgs`
--

 

当消息发送至ActiveMQ时，数据就被持久化到mysql了，如果消息被消费，数据会自动被删除，down机后重启没影响，有一点不好的是,这个有点拖数据库，我在本地的mysql,一开启ActiveMQ, 数据库就会变得很慢，不过这个只是在本地的机子上，想必实际应用时应该好很多。

iteye_3971
关注
专栏目录
ActiveMQ配置Mysql8为持久化方式所需Jar包.rar
06-13
- ActiveMQ允许用户选择不同的持久化机制，包括文件系统（KahaDB）和关系数据库（如MySQL）。 - 持久化确保了消息在服务器崩溃或重启时不会丢失，增强了系统的可靠性。 2. **配置MySQL8**： - 首先，你需要在...
ActiveMQ: configure PostgreSQL for Message Persistence
Qbit编程学习笔记
12-05 951
We are gathered here today to discuss the use of datastores with ActiveMQ. ActiveMQ(AMQ) supports various datastores for message persistence, including PostgreSQL(PG). When considering a migration to
ActiveMQ将消息持久化到数据库
热门推荐
纸上得来终觉浅，绝知此事要躬行
04-27 1万+
需求描述：将ActiveMQ消息持久化到mySql\Oracle数据库中 ； 环境描述：目前最新版本是ActiveMQ5.13.2，本文讲述的实例是ActiveMQ5.9.0。 使用默认的持久化机制，我们不容易直接看到消息究竟是如何持久的。ActiveMQ提供的JDBC持久化机制，能够将持久化信息存储到数据库。通过查看数据库中ActiveMQ生成的表结构和存储的数据，能够帮助我们更好的了解消息
activeMQ将消息持久化到数据库
技术杂货铺
09-08 1210
本demo是将msg持久化到oracle数据库 需要在ActiveMQ中加入jdbc依赖的jar包，实测用到的jar包有： commons-pool-1.5.4.jarcommons-dbcp-1.4.jarojdbc14-10.2.0.4.0.jar 将这三个jar包下载后复制到activeMQ的conf包lib下 修改activeMQ.xml文件 替换已有的p
消息队列RabbitMQ之消息持久化
千里之行，始于足下
03-24 2802
之前在消息队列RabbitMQ之基本消息模型中曾经谈过RabbitMQ的手动Ack机制，手动Ack机制可以很好的保证消息被正常消费，即使程序发生异常，消息依然可以保存在消息队列中。 但是如果是消费者还没有消费数据，但是消息队列发生了宕机，导致消息队列中的消息丢失，那又该怎么办呢？ 于是就衍生出来了RabbitMQ的持久化机制。
activeMQ mysql 持久化
08-03
标题中的“ActiveMQ MySQL 持久化”指的是在使用ActiveMQ消息中间件时，将消息数据存储到MySQL数据库中以实现数据的持久化。ActiveMQ是Apache软件基金会的一个开源项目，它是一个功能丰富的消息代理，支持多种消息...
activemq持久化jdbc所需jar包.zip
06-10
标题中的"activemq持久化jdbc所需jar包.zip"指的是Apache ActiveMQ消息中间件在使用JDBC（Java Database Connectivity）进行消息持久化时所需的库文件集合。ActiveMQ是一款开源、高性能、跨语言的企业级消息代理，它...
activemq消息持久化所需Jar包
04-03
3. **数据库连接驱动**：ActiveMQ支持多种持久化策略，其中一种是使用关系型数据库（如MySQL、PostgreSQL）来存储消息。因此，根据你选择的数据库，需要引入相应的数据库驱动Jar包，例如`mysql-connector-java.jar`...
ActiveMQ的消息持久化---JDBC的实现方式
韶shls的博客
08-04 994
对于queue的方式做到持久化很简单。每个消息只有一个消费者，只要将消息存入数据库，然后消费者取走信息即可，在这里我们讨论的是topic的持久化方式。 1.在这里我用的是oracle数据库，先将oracle的驱动包放入lib文件夹下，再配置activemq.xml文件中的配置信息 将原来的默认持久化方式改为使用jdbc的方式： 配置oracle-ds的bean，注意须
ActiveMQ系列：ActiveMQ的持久化机制
phubing
09-04 680
前面有介绍与基础、应用实践部分，有兴趣的可以移步： 初步认识了ActiveMQ：https://blog.csdn.net/qq_26975307/article/details/98875098 结合JavaSE进行初尝试：https://blog.csdn.net/qq_26975307/article/details/98968854 详细讲讲JMS：https://blog.csd...
深入浅出JMS(三)--ActiveMQ简单的HelloWorld实例
dawuafang
09-26 883
第一篇博文深入浅出JMS(一)–JMS基本概念，我们介绍了JMS的两种消息模型：点对点和发布订阅模型，以及消息被消费的两个方式：同步和异步，JMS编程模型的对象，最后说了JMS的优点。 第二篇博文深入浅出JMS(二)–ActiveMQ简单介绍以及安装，我们介绍了消息中间件ActiveMQ，安装，启动，以及优缺点。 这篇博文，我们使用ActiveMQ为大家实现一种点对点的消息模型。如果你对点对...
redis消息队列写入mysql_redis怎么实现将消息队列持久化到数据库中？
weixin_35737757的博客
01-28 361
要看你用的是什么语言，如果是php的，你可以这样考虑， 首先一个是将这两个分为两个队列来实现， 一个用来实现消息优先级，一个来实现定时发送用的是redis的有序集合,用zadd添加时，将score比做是优先级，也可以用时间戳来当做score，用来表示时间将消息加入优先级的队列，将1，2替换为时间就是定时发送的队列了$redis = new Redis();$redis->connect('1...
Memcache 持久化消息队列MemcacheQ
mark's technic world
09-20 505
memcacheQ是一个国内开发的基于memcache协议、BDB持久数据存储、高性能轻量级分布式消息队列服务。它的安装依赖于BerkeleyDB 和 libevent，所以要先安装这BerkeleyDB和libevent。 官网地址：http://memcachedb.org/memcacheq/ 项目地址： http://groups.google.com/group/memcached
数据结构之存储位置
qq_53841892的博客
09-18 344
内存泄漏：如果没有适时释放被动态分配的内存，会导致内存泄露问题。未释放的内存一直占用系统资源，使得系统变慢并最终导致崩溃。内存释放，合理设计算法，避免算法问题导致的内存无线增长，合理设置作用域。这个数组在函数返回后会失效，因此返回的指针指向的是一个未定义的值。//static变量。频繁的使用堆会产生大量的碎片，而栈则不会。int a = 0;Test 函数会有什么样的结果？函数会有什么样的结果？函数会有什么样的结果？函数会有什么样的结果？
排序篇(七大基于比较的排序算法)
最新发布
L2770789195的博客
09-18 771
然后再重新建大堆 直到每个元素都与根节点交换过现在呢 我们先进行建大堆：首先呢 先创建parent child两个变量parent指向最后一棵树的根 child指向最后一棵树的子树 然后依次将每棵树置成大堆即：让child指向子树元素较大的 若child指向位置的元素大于parent处的元素 则交换然后令parent-- 直到parent走到0下标处接下来我们给出上述图片转化为大堆的过程图当child指向超过下标最大值时 siftDown结束展示代码：
docker activemq 持久化
08-03
在使用Docker部署ActiveMQ时，可以通过挂载卷来实现持久化。使用以下命令可以在Docker中运行ActiveMQ并进行持久化设置：[1] ``` docker run -d -v /usr/amq:/opt/activemq/amq --name activemq -p 61616:61616 -p ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值