批量处理数据：Java中的高效策略和实践

一勺菠萝丶

已于 2024-03-18 10:51:42 修改

阅读量418

点赞数 9

文章标签： java 开发语言

于 2024-03-13 18:39:40 首次发布

本文链接：https://blog.csdn.net/weixin_39973810/article/details/136688139

版权

在处理大量数据时，尤其是在需要对数据库中的大批量记录进行更新时，有效的批处理策略是必不可少的。今天，我们将探讨一种在Java中批量更新数据的方法，并了解其在现实场景中的应用。

使用场景一：重置视频标题

假设我们有一个视频分享平台，现在需要对视频标题进行批量更新，例如，确保每个视频标题的末尾都有一个空格。在数百万视频记录中逐个更新标题显然是不现实的，这时批量处理就显得尤为重要。

方法介绍：resetTitle

为了有效地进行这项任务，我们编写了一个resetTitle方法，该方法分批次处理视频记录，并为每个标题添加必要的空格。下面是这个方法的逐步分析：

批处理的优势

通过将任务分解成多个小批次，我们可以减轻对内存的压力，并避免在单个事务中锁定数据库中的过多行，从而提高性能并降低出错的风险。

方法逻辑

计算批次数量：首先，我们通过总视频数除以每批处理的视频数量计算出总批次数。这里使用了一个小技巧来确保即使不能整除也能处理所有视频：

int numBatches = (totalVideos + batchSize - 1) / batchSize;

分页获取视频：我们定义了一个listPage私有方法，通过偏移量和限制数量来获取视频列表。这是标准的分页逻辑。
使用Stream API处理视频标题：Java 8 引入的Stream API使得批量数据处理变得更简单。我们对每个视频标题进行了去空格并在末尾添加空格的操作。
批量更新视频记录：最后，我们使用updateBatchById方法来批量更新视频标题，这减少了数据库的I/O操作。

实现代码

@Override
public void resetTitle() {
    int batchSize = 100; // 每批处理的视频数量
    int totalVideos = this.count(); // 假设这个方法返回视频总数
    int numBatches = (totalVideos + batchSize - 1) / batchSize; // 计算需要多少批次

    for (int i = 0; i < numBatches; i++) {
        // 分页获取视频列表
        List<Video> list = this.listPage(i * batchSize, batchSize);
        List<Video> updates = new ArrayList<>();

        // 使用Java 8 Stream API进行处理
        list.forEach(video -> {
            String title = video.getTitle();
            if (StringUtils.isNotEmpty(title)) {
                title = title.trim() + " "; // 确保标题末尾有一个空格
                video.setTitle(title);
                updates.add(video);
            }
        });

        // 批量更新视频标题
        this.updateBatchById(updates);
    }
}

// 方法是根据偏移量和数量分页获取视频列表
private List<Video> listPage(int offset, int limit) {
    LambdaQueryWrapper<Video> queryWrapper = new LambdaQueryWrapper<>();
    queryWrapper.last("LIMIT " + offset + ", " + limit);
    return this.list(queryWrapper);
}

使用场景二：查询带有’万’的标题, 转成数字类型

    @Override
    public void convertPlayCount() {
        // 处理所有包含“万”的视频观看次数
        int batchSize = 100; // 每批处理的视频数量
        while (true) {
            // 每次循环重新查询包含“万”的视频列表
            List<VideoView> list = this.listPage(0, batchSize);
            if (list.isEmpty()) {
                break; // 如果没有数据需要处理，则退出循环
            }
            List<VideoView> updates = new ArrayList<>();
            list.forEach(videoView -> {
                String viewCountBeforeStr = videoView.getViewCount();
                int viewCountBefore = viewCountBeforeStr.contains("万") ? (int) (Double.parseDouble(viewCountBeforeStr.replace("万", "")) * 10000) : Integer.parseInt(viewCountBeforeStr);
                videoView.setViewCount(String.valueOf(viewCountBefore));
                updates.add(videoView);
            });
            this.updateBatchById(updates); // 批量更新处理后的数据
        }

    }

    private List<VideoView> listPage(int offset, int limit) {
        LambdaQueryWrapper<VideoView> queryWrapper = new LambdaQueryWrapper<>();
        queryWrapper.like(VideoView::getViewCount, "万");
        queryWrapper.last("LIMIT " + offset + ", " + limit);
        return this.list(queryWrapper);
    }