ActiveMQ消息存储

一、介绍

为了避免意外宕机以后丢失信息，需要做到重启后可以恢复消息队列，消息系统一半都会采用持久化机制。ActiveMQ的消息持久化机制有JDBC，AMQ，KahaDB和LevelDB，无论使用哪种持久化方式，消息的存储逻辑都是一致的。就是在发送者将消息发送出去后，消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库等。再试图将消息发给接收者，成功则将消息从存储中删除，失败则继续尝试尝试发送。消息中心启动以后，要先检查指定的存储位置是否有未成功发送的消息，如果有，则会先把存储位置中的消息发出去。

二、 kahaDB

基于日志文件，从ActiveMQ5.4（含）开始默认的持久化插件。
消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。数据被追加到db-x.log中，当不再需要log文件中的数据的时候，log文件被丢弃。

在activemq.xml有如下配置：

<persistenceAdapter>
     <kahaDB directory="${activemq.data}/kahadb"/>
 </persistenceAdapter>

日志文件的存储目录在：%activemq安装目录%/data/kahadb

[root@server kahadb]# pwd
/usr/local/apache-activemq-5.16.2/data/kahadb
[root@server kahadb]# ll -h
总用量 536K
-rw-r--r--. 1 root root  32M 5月   9 19:19 db-1.log
-rw-r--r--. 1 root root 188K 5月   9 19:56 db.data
-rw-r--r--. 1 root root  77K 5月   9 19:56 db.redo
-rw-r--r--. 1 root root    8 5月   9 19:18 lock
[root@server kahadb]# 

1. db-x.log 存储数据，当数据文件满时，会创建一个新的，x随之增加。
2. db.data 存储B树索引，索引了消息数据记录中的消息，指向db-x.log中的数据信息。
3. db.redo 用来进行消息恢复
4. lock文件锁，表示当前获得kahadb读写权限的broker

三、JDBC消息存现

以mysql为例：

（一）添加mysql驱动到lib文件夹

（二）配置jdbcPersistenceAdapter

    <persistenceAdapter>
            <!--<kahaDB directory="${activemq.data}/kahadb"/>-->
             <jdbcPersistenceAdapter dataSource="#mysql-ds"/>
        </persistenceAdapter>

（三）配置数据库连接池

<bean id="mysql-ds" class="org.apache.commons.dbcp2.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://192.168.175.131:3306/activemq?relaxAutoCommit=true"/>
    <property name="username" value="root"/>
    <property name="password" value="root"/>
    <property name="poolPreparedStatements" value="true"/>
</bean>

注：在broker外面

（四）创建数据库

创建activemq数据库，无需配置createTableOnStartup=“true”，会报错。首次系统启动后会自动创建3张表，后续启动后不会删除后重建，无需担心数据覆盖。

ACTIVIMQ_MSGS表，存储消息，queue和持久化topic的消息都存储在里面，queue的消息被消费后删除，持久化topic的消息不会删除，注意累计数据量大以后的性能问题。

ACTIVEMQ_ACKS表用于存储持久化topic的订阅关系。

ACTIVEMQ_LOCK表，用于集群环境，用于记录那个broker是master。

（五）测试

四、DBC Message Store with ActiveMQ Journal

这种方式克服了JDBC Store的不足，JDBC每次消息过来，都需要去写库读库。ActiveMQ Journal，使用高速缓存写入技术，大大提高了性能。当消费者的速度能够及时跟上生产者消息的生产速度时，journal文件能够大大减少需要写入到DB中的消息。

举个例子：生产者生产了1000条消息，这1000条消息会保存到journal文件，如果消费者的消费速度很快的情况下，在journal文件还没有同步到DB之前，消费者已经消费了90%的以上消息，那么这个时候只需要同步剩余的10%的消息到DB。如果消费者的速度很慢，这个时候journal文件可以使消息以批量方式写到DB。

为了高性能，这种方式使用日志文件存储+数据库存储。先将消息持久到日志文件，等待一段时间再将未消费的消息持久到数据库。该方式要比JDBC性能要高。

修改配置：

<persistenceFactory>
  <journalPersistenceAdapterFactory
    journalLogFiles="4"
    journalLogFileSize="32768"
    useJournal="true"
    useQuickJournal="true"
    dataSource="#mysql-ds"
    dataDirectory="activemq-data"/>
</persistenceFactory>