10W级数据更新操作__生产消费者模式

最新推荐文章于 2023-11-08 16:11:12 发布

JeangLee

最新推荐文章于 2023-11-08 16:11:12 发布

阅读量745

点赞数

分类专栏： WEB后端开发文章标签：生产者与消费者模式数据库

本文链接：https://blog.csdn.net/ljyhust/article/details/74634108

版权

在解决本地系统与远程系统数据差异问题时，通过生产消费者模式来处理10W条数据库记录的更新。避免一次性取出所有数据，而是分页批量获取并放入阻塞式队列中，由另一线程循环处理，控制处理速度，降低系统资源占用。最终通过实现特定业务接口完成数据对比与更新。

摘要由CSDN通过智能技术生成

背景需求

最近有这么一个需求：由于本地系统信息与另一个系统数据可能不一致，两个系统有各自的独立数据库和业务，在通信过程中网络等原因，导致两者之间的关键信息有差异，因此本地数据库中可能有10W条记录需要更新，本地数据库的信息需要逐条与远程http请求数据，对比或更新。

技术分析

如果将本地数据库全部取出放入一个集合中，然后遍历并发送http请求核对数据，显然不太现实。存储10W条记录需要多大的缓存？而且这样做对系统资源占用也很高。
采用生产消费者模式批量处理数据。生产消费者模式维护一个队列，一个线程添加数据，另一个线程取数据，可通过控制线程的数量来控制处理的速度。
思路：用分页取批量数据，放入一个阻塞式队列LinkedBlockingQueue中，开启另一个线程从队列中取数据，循环以上过程，直到全部数据处理完毕（数据处理到最后一页），队列为空。

代码实现

Talk is cheap, show me code

public class CheckRecordWithChannel {
   

    private static final Logger logger = LoggerFactory.getLogger(CheckRecordWithChannel.class);

    //500条数据
    private volatile BlockingQueue<WechatTransInfo> orderQueue = new LinkedBlockingQueue<>(500);

    public static final int PAGE_NUM = 200;

    //生产完成标志
    private boolean produceFlag = false;
    //消费完成标志
    private boolean cosumerFlag = false;
    //当前页面数
    private int currentPageNum = 0;

    private CheckOrderBusinessHandle businessHandle;

    /**
     * 构造方法
     * @param businessHandle 需要实现的特殊业务方法
     */