Spring 分批处理 + 冷热数据分离：历史订单高效迁移与数据清理实战

冼紫菜

于 2025-05-02 14:39:22 发布

阅读量387

点赞数 5

分类专栏：微服务优化 Java后端文章标签： spring java 后端 spring boot tidb

本文链接：https://blog.csdn.net/m0_73612839/article/details/147666396

版权

Java后端同时被 3 个专栏收录

41 篇文章

订阅专栏

微服务

34 篇文章

订阅专栏

优化

21 篇文章

订阅专栏

在实际业务中，随着时间推移，订单量持续增长，若未及时进行数据治理，会造成数据库膨胀、查询缓慢、性能下降等问题。为了实现数据分层管理和系统高性能运行，我们在项目中采用了“冷热数据分离 + 分批迁移 + 数据清理”的综合方案。

本文将围绕以下几个核心点展开：

✅ 为什么要进行冷热数据分离？
✅ 如何用分批分页迁移历史订单？
✅ 如何在迁移完成后安全删除同步表数据？

🔍 一、为什么要冷热数据分离？

随着订单业务增长，即使采用分库分表，数据总量依旧快速膨胀。对历史订单的访问热度远远低于进行中订单。因此我们有必要：

将热数据（15日内未完成订单）保存在主订单表，供高频访问；
将冷数据（15日前完成订单）归档到历史订单表，减少主库压力；
提升整体系统性能和数据库查询效率。

❗注意：虽然阿里云 OSS 等对象存储价格低，但不支持复杂查询操作（如 SQL 聚合、分页、统计），无法满足用户和运营的历史订单检索与分析需求，因此必须选择支持查询的数据库，如分布式数据库 TiDB。

🔄 二、分批分页迁移：保证性能和稳定性

✨ 核心思想：

一次迁移 1000 条数据，控制内存和 SQL 压力；
使用 offset + limit 实现分页；
按天定时迁移前一天完成的订单；
保证数据完整性，支持失败重试。

🔧 迁移代码示例：

@Override
public void migrate() {
    log.debug("历史订单迁移开始...");
    int offset = 0, perNum = 1000;

    LocalDateTime startTime = DateUtils.getDayStartTime(DateUtils.now().minusDays(1));
    LocalDateTime endTime = DateUtils.getDayEndTime(DateUtils.now().minusDays(1));

    Integer total = historyOrdersSyncService.countBySortTime(startTime, endTime);
    if (total <= 0) return;

    while (offset < total) {
        baseMapper.migrate(startTime, endTime, offset, perNum);
        offset += perNum;
    }

    log.debug("历史订单迁移结束。");
}

🧹 三、迁移完成后，如何安全删除同步表数据？

在实现冷热分离过程中，我们使用中间同步表（用于异步迁移），为避免数据重复、节省空间，迁移完成后需及时删除同步表中已处理的数据。

为了防止误删或未迁移完全，我们加入了删除前校验机制。

🛡 删除逻辑及校验示例：

@Override
public void deleteMigrated() {
    LocalDateTime startTime = DateUtils.getDayStartTime(DateUtils.now().minusDays(1));
    LocalDateTime endTime = DateUtils.getDayEndTime(DateUtils.now().minusDays(1));

    // 1. 检查是否存在可删除数据
    Integer totalOfDelete = historyOrdersServeSyncService.countBySortTime(startTime, endTime);
    if (totalOfDelete <= 0) {
        log.debug("无迁移服务单数据需要删除");
        return;
    }

    // 2. 校验迁移是否完整
    Integer totalMigrated = lambdaQuery()
        .between(HistoryOrdersServe::getSortTime, startTime, endTime)
        .count();

    if (NumberUtils.null2Zero(totalMigrated) <= 0 || totalOfDelete > totalMigrated) {
        log.error("服务单未完全迁移，同步数据删除失败");
        return;
    }

    // 3. 删除同步表中已迁移数据
    historyOrdersServeSyncService.deleteBySortTime(startTime, endTime);
}

⚠️ 删除保障机制：

校验项	描述
数量比对	同步表中“待删除数量”必须 ≤ 历史表中“已迁移数量”
分时间段	删除与迁移都按天执行，避免大批量误删
日志记录	失败及时报警，便于排查