java 缓冲队列 定时_利用延迟消息队列取代定时任务

§1 RabbitMQ延迟队列

RabbitMQ延迟队列，主要是借助消息的TTL(Time to Live)和死信exchange(Dead Letter Exchanges)来实现。

涉及到2个队列，一个用于发送消息，一个用于消息过期后的转发目标队列。

本例中， 定义2组exchange和queue。

agentpayquery1exchangeagentpayquery1queue(routingkey为delay)

agentpayquery2exchangeagentpayquery2queue(routingkey为delay)

agentpayquery1queue是缓冲队列，消息过期路由到agentpayquery2queue

§2 生产者

生产者配置：

username="${username}"password="${password}"channel-cache-size="${cache.size}"publisher-confirms="${publisher.confirms}"publisher-returns="${publisher.returns}"virtual-host="/"

/>

生产者消息入队(方法有待重构，见后文说明)：

importorg.springframework.amqp.AmqpException;importorg.springframework.amqp.core.Message;importorg.springframework.amqp.core.MessageDeliveryMode;importorg.springframework.amqp.core.MessagePostProcessor;importorg.springframework.amqp.rabbit.core.RabbitTemplate;importorg.springframework.beans.factory.annotation.Autowired;importorg.springframework.stereotype.Service;

@Servicepublic classAgentpayQueryProducer {private static final Logger log = LogManager.getLogger(AgentpayQueryProducer.class.getSimpleName());

@AutowiredprivateRabbitTemplate agentpayQueryMsgTemplate;public void sendDelay(String message, intdelaySeconds) {

String expiration= String.valueOf(delaySeconds * 1000);

agentpayQueryMsgTemplate.convertAndSend((Object) message,newMessagePostProcessor() {

@OverridepublicMessage postProcessMessage(Message message)throwsAmqpException {

message.getMessageProperties().setExpiration(expiration);

message.getMessageProperties().setDeliveryMode(MessageDeliveryMode.PERSISTENT);

log.info("出款查询数据入队:{}", newString(message.getBody()));returnmessage;

}

});

}

}

§3消费者

消费端的配置无他：

消息消费：

importcom.alibaba.fastjson.JSON;importcom.emaxcard.enums.BatchPayStatus;importcom.emaxcard.exceptions.ResponseException;importcom.emaxcard.payment.vo.PaymentRecord;importcom.emaxcard.rpc.payment.model.PaymentRecordModel;importorg.springframework.amqp.core.Message;importorg.springframework.amqp.core.MessageListener;importorg.springframework.beans.factory.annotation.Autowired;public class AgentpayQueryConsumer implementsMessageListener {private static final Logger log =LogManager.getLogger();

@Autowired

QueryGatewayService queryGatewayService;

@Autowired

AgentpayQueryProducer agentpayQueryProducer;

@Overridepublic voidonMessage(Message message) {

String mqMsg= newString(message.getBody());

log.info("出款查询数据出队：{}", mqMsg);

PaymentRecord paymentRecordModel;try{

paymentRecordModel= JSON.parseObject(mqMsg, PaymentRecord.class);

}catch(Exception ex) {

log.info("消息格式不是PaymentRecordModel，结束。");return;

}try{

BatchPayStatus payStatus=queryGatewayService.queryGateway(paymentRecordModel);//非终态，继续放入延迟队列

if (BatchPayStatus.SUCCESS != payStatus && BatchPayStatus.FAILED !=payStatus) {if (BatchPayStatus.NOTEXIST ==payStatus) {

log.info("查询结果是{}，不再处理", payStatus);

}else{

agentpayQueryProducer.sendDelay(mqMsg,10);

}

}

}catch(Exception ex) {if (ex instanceofResponseException) {

log.info("转账查询{},paymentId{},处理错误：{}",

paymentRecordModel.getTransNo(), paymentRecordModel.getPaymentId(), ex.getMessage());

}else{

log.error("处理消息异常：", ex);

}

}

}

}

§4 使用延迟队列要注意

队列的数据结构是一种线性链表，遵从FIFO(First-In-First-Out)的存取方式。所以：

即使一个消息比在同一队列中的其他消息提前过期，提前过期的也不会优先进入死信队列，它们还是按照入队的顺序进入死信队列。即：如果第一个入队消息的TTL是1小时，那么死信队列的消费者也许等1小时才能收到第一个消息。

官方文档：“Only when expired messages reach the head of a queue will they actually be discarded (or dead-lettered).”  只有当过期的消息到了队列的顶端(队首)，才会被真正的丢弃或者进入死信队列。

所以在考虑使用RabbitMQ来实现延迟任务队列的时候，需要确保业务上每个任务的延迟时间是一致的。如果遇到不同的任务类型需要不同的延时的话，需要为每一种不同延迟时间的消息建立单独的消息队列。

当缓冲队列里一旦出现未设置过期时间的消息，那么就会造成整个队列堵塞，消息无法转入死信队列。通过日志可以看到，打印出来的都是 BlockingQueueConsumer。为防止这种问题的发生，需给队列设置默认的ttl，spring配置是(过期时间是1分钟)。这样，如果消息有ttl，就按照消息自己的ttl走，否则1分钟后自动转入死信队列。

这其实涉及到延迟队列的正确使用方式了。正如上一点提到的，一个延迟队列里的消息不应该有各自的ttl，而应该统一走队列本身的ttl。所以，定义延迟队列时，要配置ttl，同时，在消息入队时，也不需要指定消息的过期时间了。

所以上述AgentpayQueryProducer提供的那个方法，可以去掉第2个参数delaySeconds。further more，因为每个队列只针对某一类型的消息，那么，应明确第一个参数的类型，而非泛泛的String message，这里重构为PaymentRecord。即最终方法签名是：public void sendDelay(PaymentRecord paymentRecord)

Get messages Ack Mode选择“Ack message requeue false”，可以将消息消费掉