RocketMQ批量发送消息4M限制解决方案

jy03133639

已于 2022-03-20 09:59:50 修改

阅读量2k

点赞数

文章标签： java RocketMQ

于 2022-03-20 09:58:01 首次发布

本文链接：https://blog.csdn.net/jy03133639/article/details/123608110

版权

本文介绍了在处理海量消息时，由于单次发送限制为1MB，因此需要将消息分割后通过MQ进行批量发送。提供了一个名为`ListSplitter`的Java实现，该实现作为迭代器，用于分割消息列表并逐批发送。示例代码展示了如何使用此工具类进行消息的分批发送。

摘要由CSDN通过智能技术生成

批量发送一次不能超过1m
所以面对海量消息需要进行分割后发送mq
一下是代码案例,及使用案例

package com.donghao.rocketmq.batch;

import org.apache.rocketmq.common.message.Message;
import org.springframework.cache.Cache;

import java.util.Iterator;
import java.util.List;
import java.util.Map;

import static com.sun.corba.se.impl.util.RepositoryId.cache;

/**
 * 批量发送一次不能超过4m
 * 所以面对海量消息需要进行分割后发送mq
 * 迭代器
 *
 * @author donghao.wu
 */
public class ListSplitter implements Iterator<List<Message>> {
    private final int SIZE_LIMIT = 1024 * 1024 * 1;
    private final List<Message> messages;
    private int currIndex;

    public ListSplitter(List<Message> messages) {
        this.messages = messages;
    }


    @Override
    public boolean hasNext() {
        return currIndex < messages.size();
    }

    @Override
    public List<Message> next() {
        int nextIndex = currIndex;
        int totalSize = 0;
        for (; nextIndex < messages.size(); nextIndex++) {
            Message message = messages.get(nextIndex);
            int tmpSize = message.getTopic().length() + message.getBody().length;
            Map<String, String> properties = message.getProperties();
            for (Map.Entry<String, String> entry : properties.entrySet()) {
                tmpSize += entry.getKey().length() + entry.getValue().length();
            }
            //日志开销 20字节
            tmpSize = tmpSize + 20;
            if (tmpSize + totalSize > SIZE_LIMIT) {
                break;
            } else {
                totalSize += tmpSize;
            }
        }
        List<Message> subList = messages.subList(currIndex, nextIndex);
        currIndex=nextIndex;
        return subList;
    }
    /*
    使用案例
    public static void main(String[] args) {
        ListSplitter splitter = new ListSplitter(messages);
        while(splitter.hasNext()){
         try{
             producer.send(splitter.next());
         }catch (Exception e){
             e.printStackTrace();
         }
        }
    }
    */
}