ActiveMQ指南

最新推荐文章于 2021-08-02 14:28:28 发布

张三与王二麻子

最新推荐文章于 2021-08-02 14:28:28 发布

阅读量5.3k

点赞数

分类专栏：消息中间件文章标签： activeMQ 消息中间件

本文链接：https://blog.csdn.net/sinat_43606156/article/details/86668328

版权

消息中间件专栏收录该内容

1 篇文章 0 订阅

订阅专栏

持久化消息（默认）

为了避免意外宕机以后丢失信息，需要做到重启后可以恢复消息队列，消息系统一般都会采用持久化机制。ActiveMQ的消息持久化机制有JDBC，AMQ(基本不用)，KahaDB(默认)，无论使用哪种持久化方式，消息的存储逻辑都是一致的：

就是在发送者将消息发送出去后，消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库等，然后试图将消息发送给接收者，发送成功则将消息从存储中删除，失败则继续尝试。
消息中心启动以后首先要检查指定的存储位置，如果有未发送成功的消息，则需要把消息发送出去。

1. KahaDB持久化方式

KahaDB是目前默认（从5.4版本之后）的存储方式，可用于任何场景，提高了性能和恢复能力。消息存储使用一个事务日志和仅仅用一个索引文件来存储它所有的地址。
　　KahaDB是一个专门针对消息持久化的解决方案，它对典型的消息使用模式进行了优化。在kaha中，数据被追加到 data logs中。当不再需要log文件中的数据的时候,log文件会被丢弃。

<persistenceAdapter>
	<kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>
<!--
可用的属性有:
1. director: KahaDB存放的路径，默认值activemq-data
2. indexWriteBatchSize: 批量写入磁盘的索引page数量,默认值为1000
3. indexCacheSize: 内存中缓存索引page的数量,默认值10000
4. enableIndexWriteAsync: 是否异步写出索引,默认false
5. journalMaxFileLength: 设置每个消息data log的大小，默认是32MB
6. enableJournalDiskSyncs: 设置是否保证每个没有事务的内容，被同步写入磁盘，JMS持久化的时候需要，默认为true
7. cleanupInterval: 在检查到不再使用的消息后,在具体删除消息前的时间,默认30000
8. checkpointInterval: checkpoint的间隔时间，默认是5000
9. ignoreMissingJournalfiles: 是否忽略丢失的消息日志文件，默认false
10. checkForCorruptJournalFiles: 在启动的时候，将会验证消息文件是否损坏，默认false
11. checksumJournalFiles: 是否为每个消息日志文件提供checksum,默认false
12. archiveDataLogs: 是否移动文件到特定的路径，而不是删除它们，默认false
13. directoryArchive: 定义消息已经被消费过后，移动data log到的路径，默认null
14. databaseLockedWaitDelay: 获得数据库锁的等待时间(used by shared master/slave),默认10000
15. maxAsyncJobs: 设置最大的可以存储的异步消息队列，默认值10000，可以和concurrent MessageProducers设置成一样的值。
16. concurrentStoreAndDispatchTransactions:是否分发消息到客户端，同时事务存储消息，默认true
17. concurrentStoreAndDispatchTopics: 是否分发Topic消息到客户端，同时进行存储，默认true
18. concurrentStoreAndDispatchQueues: 是否分发queue消息到客户端，同时进行存储，默认true
-->

2 、AMQ持久化方式

AMQ是一种文件存储形式，它具有写入速度快和容易恢复的特点。消息存储在一个个文件中，文件的默认大小为32M，如果一条消息的大小超过了32M，那么这个值必须设置大一点。当一个存储文件中的消息已经全部被消费，那么这个文件将被标识为可删除，在下一个清除阶段，这个文件被删除。AMQ适用于ActiveMQ 5.3之前的版本。

<persistenceAdapter>
	<amqPersistenceAdapter directory="${activemq.base}/data" maxFileLength="32mb"/>
</persistenceAdapter>

3、JDBC持久化

从ActiveMQ 4+版本开始，ActiveMQ就支持使用关系型数据库进行持久化存储——通过JDBC实现的数据库连接。可以使用的关系型数据库囊括了目前市面的主流数据库。JDBC消息存储在许多对可靠性要求高而对性能要求低一些的大公司还是经常使用的

<!-- 修改activemq.xml配置 -->
<persistenceAdapter>
       <jdbcPersistenceAdapter  dataSource="#mysql-ds"/>
</persistenceAdapter>

<!-- 在broker节点后添加数据库数据源配置 -->
<bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
        <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
        <property name="url" value="jdbc:mysql://localhost/activemq?relaxAutoCommit=true"/>
        <property name="username" value="root"/>
        <property name="password" value="123456"/>
        <property name="maxActive" value="200"/>
        <property name="poolPreparedStatements" value="true"/>
</bean>

完成配置后，重新启动MQ，就会发现db数据库中多了三张表：activemq_acks，activemq_lock，activemq_msgs，OK，说明activemq已经持久化成功啦！

需要添加jar包！！！

activemq_msgs

用于存储消息，Queue和Topic都存储在这个表中。主要的数据库字段如下：

id	自增的数据库主键
container	消息的destination（topic/queue）
msgid_prod	消息发送者客户端的主键
msg_seq	是发送消息的顺序，msgid_prod+msg_seq可以组成jms的messageid
expiration	消息的过期时间，存储的是从1970-01-01到现在的毫秒数
msg	消息本体的java序列化对象的二进制数据
priority	优先级，从0-9，数值越大优先级越高
activemq_acks	消息确认标识

2、activemq_acks

用于存储订阅关系。如果是持久化Topic，订阅者(发布/订阅消费者)和服务器的订阅关系在这个表保存，主要数据库字段如下：

container	消息的destination
sub_dest	如果是使用static集群，这个字段会有集群其他系统的信息
client_id	每个订阅者都必须有一个唯一的客户端id用以区分
sub_name	订阅者名称
selector	选择器，可以选择只消费满足条件的消息。条件可以用自定义属性实现，可支持多属性and和or操作
last_acked_id	记录消费过的消息的id

3、activemq_lock

在集群环境中才有用，只有一个Broker可以获得消息，称为Master Broker，其他的只能作为备份，等待Master Broker不可用，才可能成为下一个Master Broker。这个表用于记录哪个Broker是当前的Master Broker。

数据库持久化的另外一种选择！！

JDBC Message Store with ActiveMQ Journal

这种方式克服了JDBC Store的不足，使用快速的缓存写入技术，大大提高了性能。

<persistenceFactory>
	<journalPersistenceAdapterFactory journalLogFiles="4"
                                      journalLogFileSize="32768"
                                      useJournal="true"
                                      useQuickJournal="true"
                                      dataSource="#mysql_ds"
                                      dataDirectory="activemq-data"/>
</persistenceFactory>

JDBC Store和JDBC Message Store with ActiveMQ Journal的区别：

JDBC with journal的性能优于jdbc
JDBC可用于master/slave模式的数据库分享
JDBC with journal不能用于master/slave模式
一般情况下，推荐使用jdbc with journal

4、非持久化消息（Memory Message Store）

消息不做持久化，直接存储在内存中。消息发送和接受快。但是会丢失消息！！

配置非持久化消息：

方式一、在activemq.xml文件中配置

<broker persistent="false">  
	……
</broker>

方式二、在生产者发送消息时配置

//6.创建消息生产者
MessageProducer producer = session.createProducer(queue);
producer.setDeliveryMode(DeliveryMode.NON_PERSISTENT);

何时使用非持久化消息？？

对性能要求高，但是可以容忍消息丢失的情况！！

持久订阅和非持久订阅

上文所说的消息持久化是针对点对点（P2P）模式的，不包括发布/订阅（Pub/Sub）模式的。正常情况下，发布/订阅模式是不需要持久化消息的，因为当生产者发送topic消息的时候，只有当前处于active活跃状态的消费者才能接收到消息，如果此时没有任何消费者处于active活跃状态的话，此消息会被丢弃。所以，Pub/Sub模式默认是不需要保存消息的。

那么，能不能有一种方式让我们在发布/订阅模式下，消费者宕机重启后，也能够消费到之前的消息？？

持久化订阅：当持久订阅者处于 inactive 状态时，activemq会为持久订阅者保存消息，当持久订阅者恢复active状态时，之前保存的消息会发送给持久订阅者。

connection.setClientID("client-192");//持久化订阅需要设置消费者客户端id
connection.start();
//4.获取session(会话对象)  参数1：是否启动事务  参数2：消息确认方式
Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
//5.创建主题对象
Topic topic = session.createTopic("test-topic");
//创建持久化订阅消费者
TopicSubscriber consumer = session.createDurableSubscriber(topic, "durable-sub");

消息确认机制

1、AUTO_ACKNOWLEDGE

自动确认,这就意味着消息的确认时机将有consumer择机确认."择机确认"似乎充满了不确定性,这也意味着,开发者必须明确知道"择机确认"的具体时机,否则将有可能导致消息的丢失,或者消息的重复接收.

在receive同步模式下, receive获取消息后立即确认，activemq收到确认信息后，会删除该消息。可能存在丢失消息的隐患。

在messageListener异步模式下，首先调用listener.onMessage(message),此后再ACK确认,如果onMessage方法异常,消息将不会被确认，activemq会向消费者重发没有被确认的消息，默认重发6次；如果onMessage方法正常,消息将会正常确认。

2、CLIENT_ACKNOWLEDGE

客户端手动确认，这就意味着AcitveMQ将不会“自作主张”的为你ACK确认任何消息，开发者需要自己调用方法进行确认；如果开发者忘记调用acknowledge方法，消息将无法被ActiveMQ确认，对于mq而言，那些尚未真正ACK的消息被视为“未消费”。

Message类的acknowledge()；
ActiveMQMessageConsumer类的acknowledege()；
ActiveMQSession类的acknowledge()；

3、DUPS_OK_ACKNOWLEDGE

"消息可重复"确认，意思是此模式下，可能会出现重复消息，并不是一条消息需要发送多次ACK才行。它是一种潜在的"AUTO_ACK"确认机制，为批量确认而生，而且具有“延迟”确认的特点。对于开发者而言，这种模式下的代码结构和AUTO_ACKNOWLEDGE一样，不需要像CLIENT_ACKNOWLEDGE那样调用acknowledge()方法来确认消息。

4、SESSION_TRANSACTED

当session使用事务时，就是使用此模式。在事务开启之后和session.commit()之前，所有消费的消息，要么全部正常确认，要么全部redelivery。

ActiveMQ事务控制

在一个JMS客户端，可以使用本地事务来组合消息的发送和接收。JMSSession接口提供了commit和rollback方法。事务提交意味着生产的所有消息被发送，消费的所有消息被确认；事务回滚意味着生产的所有消息被销毁，消费的所有消息被恢复并重新提交，除非它们已经过期

/*
在事务状态下进行发送操作，消息并未真正投递到中间件，而只有进行session.commit操作之后，消息才会发送到中间件，再转发到适当的消费者进行处理。如果是调用rollback操作，则表明，当前事务期间内所发送的消息都取消掉。
*/
public void sendTransacted() throws JMSException {
	// create a default connection 
	ActiveMQConnectionFactory cf = new ActiveMQConnectionFactory(
			"tcp://192.168.192.129:61616" );
	Connection connection = cf.createConnection();
	connection.start();
	// true 表示使用事务   Session.SESSION_TRANSACTED 表示使用事务确认模式
	Session session = connection.createSession(true, Session.SESSION_TRANSACTED);
	Queue queue = session.createQueue("Test.Transactions");
	MessageProducer producer = session.createProducer(queue);
	Message message = session.createTextMessage("hello active mq!!");
	producer.send(message);
	session.commit();//提交事务时，消息才真正发送到ActiveMQ
	// 9.关闭资源
	session.close();
	connection.close();
}

/*
在事务状态下进行消息消费，只有消费方提交事务，中间件才会认为消息被消费，然后删除消息。否则消息不会被消费，下次还会被发送给消费方
*/
public void listenerMode() throws JMSException {
	// 1.创建连接工厂
	ConnectionFactory connectionFactory = new ActiveMQConnectionFactory(
			"tcp://192.168.192.129:61616" );
	// 2.获取连接
	Connection connection = connectionFactory.createConnection();
	// 3.启动连接
	connection.start();
	// 4.获取session (参数1：是否启动事务,参数2：消息确认模式)
	final Session session = connection.createSession(true, Session.SESSION_TRANSACTED);
	// 5.创建队列对象 
	Queue queue = session.createQueue("Test.Transactions");
	// 6.创建消息消费
	MessageConsumer consumer = session.createConsumer(queue);
	// 7.监听消息
	consumer.setMessageListener(new MessageListener() {
		public void onMessage(Message message) {
			TextMessage textMessage = (TextMessage) message;
			try {
				System.out.println("接收到消息：" + textMessage.getText());
				session.commit();//事务提交 此时消息才会确认
			} catch (JMSException e) {
				e.printStackTrace();	//session.rollback();
			}
		}
	});
	try {
		System.in.read();
	} catch (IOException e) {
		e.printStackTrace();
	}
	// 9.关闭资源
	consumer.close();
	session.close();
	connection.close();
}

张三与王二麻子

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
ActiveMQ指南

持久化消息（默认）为了避免意外宕机以后丢失信息，需要做到重启后可以恢复消息队列，消息系统一般都会采用持久化机制。ActiveMQ的消息持久化机制有JDBC，AMQ(基本不用)，KahaDB(默认)，无论使用哪种持久化方式，消息的存储逻辑都是一致的：就是在发送者将消息发送出去后，消息中心首先将消息存储到本地数据文件、内存数据库或者远程数据库等，然后试图将消息发送给接收者，发送成功则将消息从...
复制链接

扫一扫