camel解决mq队列积压问题

本文介绍了一种解决ActiveMQ高并发消息积压的方法:通过BlockingQueue缓存消息,并使用定时任务批量处理队列中的消息。

       前段时间,在使用spring camel开发esb时候碰到一个业务场景,个别activeMq的监听队列每秒中消息成两位数、三位数的往里接收,加上esb监听端有一定的业务逻辑处理,造成队列积压严重,遂提出查找对应解决方案,索性技术难度不大,监听端采用BlockingQueue做缓存解决消息积压问题。

1、在监听入口位置,创建一个队列接收bean

    private MessageTask task = new MessageTask();
    @Override
    public void process(Exchange exchange) throws Exception {
        String message = exchange.getIn().getBody().toString();
        try {
            task.addQueue(message);
        } catch (Exception e) {
            log.error("",e);
        }
    }

2、MessageTask

@Component
public class MessageTask {
    private static final Logger log = Logger.getLogger(MessageTask.class);
    //队列大小
    private final int QUEUE_LENGTH = 10000 * 2;
    //基于内存的阻塞队列
    private BlockingQueue<String> queue = new LinkedBlockingQueue<String>(QUEUE_LENGTH);
    //创建计划任务执行器
    private ScheduledExecutorService es = Executors.newScheduledThreadPool(1);
    /**
     * 构造函数,执行execute方法
     */
    public AsMessageTask() {
        execute();
    }

    /**
     * 添加信息至队列中
     *
     * @param content
     */
    public void addQueue(String content) {
        queue.offer(content);
    }

    /**
     * 初始化执行
     */
    public void execute() {
        //每隔3秒执行一次
        es.scheduleWithFixedDelay(new Runnable() {
            public void run() {
                try {
                    if(queue.size()>0){
                        String[] strs = new String[queue.size()];
                        String[] strs2 = queue.toArray(strs);
                        List<String> list= Arrays.asList(strs2);
                        queue.removeAll(list);
                        //处理队列中的信息。。。。。
                        messageHandle(strs2);
                    }
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        }, 3, 3, TimeUnit.SECONDS);
    }
}

 

以下是使用ConfigMap和Secrets配置Spring-Boot应用程序连接IBMMQ的步骤: 1.创建ConfigMap和Secrets对象,用于存储IBMMQ连接参数和身份验证信息。 2.在Spring-Boot应用程序的pom.xml文件中添加以下依赖项: ```xml <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-spring-boot-starter</artifactId> <version>x.x.x</version> </dependency> <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-ibmmq-starter</artifactId> <version>x.x.x</version> </dependency> ``` 3.在application.yml文件中添加以下配置: ```yaml ibmmq: host: ${ibmmq.host} port: ${ibmmq.port} queue-manager: ${ibmmq.queue-manager} queue: ${ibmmq.queue} channel: ${ibmmq.channel} username: ${ibmmq.username} password: ${ibmmq.password} ccsid: ${ibmmq.ccsid} receive-timeout: ${ibmmq.receive-timeout} camel: url: ibmmq:queue:${ibmmq.queue}?useMessageIDAsCorrelationID=true mq: constant: queue:///TestQueue?targetClient=1 ``` 4.在Spring-Boot应用程序中创建一个Camel路由器,用于从IBMMQ队列中接收消息并将其发送到另一个队列。 ```java @Component public class MyRouteBuilder extends RouteBuilder { @Override public void configure() throws Exception { from("{{camel.url}}") .to("{{camel.mq.constant}}"); } } ``` 5.在Spring-Boot应用程序中创建一个CamelContext对象,并将Camel路由器添加到该对象中。 ```java @SpringBootApplication public class MyApp { @Autowired private MyRouteBuilder myRouteBuilder; public static void main(String[] args) { SpringApplication.run(MyApp.class, args); } @Bean public CamelContext camelContext() throws Exception { CamelContext camelContext = new DefaultCamelContext(); camelContext.addRoutes(myRouteBuilder); return camelContext; } } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值