Java 程序员不得不知道的 List 分片这 5 种方法

最新推荐文章于 2024-08-16 10:08:26 发布

Java雨孟

最新推荐文章于 2024-08-16 10:08:26 发布

阅读量222

点赞数

分类专栏： java 文章标签：后端 java 架构

本文链接：https://blog.csdn.net/m0_64374605/article/details/121540090

版权

本文讲述了Java程序员在处理大数据量时如何将List分片，以避免长SQL导致的执行错误。文章介绍了5种分片方法：Google Guava的Lists.partition，Apache Commons的ListUtils.partition，Hutool的ListUtil.partition，JDK 8的Stream以及自定义分片。每种方法都提供了示例代码和执行结果，便于读者理解和选择适用的分片策略。

摘要由CSDN通过智能技术生成

前些天在实现 MyBatis 批量插入时遇到了一个问题，当批量插入的数据量比较大时，会导致程序执行报错，如下图所示：

Java 中 List 分片的 5 种方法

原因是 MySQL 只能执行一定长度的 SQL 语句，但当插入的数据量较多时，会生成一条很长的 SQL，这样程序在执行时就会报错。

要解决这个问题，有两种方法：第一，设置 MySQL 可以执行 SQL 的最大长度；第二，将一个大 List 分成 N 个小 List 进行。由于无法准确的界定程序中最大的 SQL 长度，所以最优的解决方案还是第二种，于是就有了今天的这篇文章。

简介

将一个 List 分成多个小 List 的过程，我们称之为分片，当然也可以叫做“List 分隔”，选一个你喜欢的、好理解的叫法就行。

在 Java 中，分片的常见实现方法有以下几种：

使用 Google 的 Guava 框架实现分片；
使用 Apache 的 commons 框架实现分片；

使用国产神级框架 Hutool 实现分片；
使用 JDK 8 中提供 Stream 实现分片；

自定义分片功能。

接下来我们分别来看。

1.Google Guava

先在项目的 pom.xml 中添加框架支持，增加以下配置：

<!-- google guava 工具类 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
  <groupId>com.google.guava</groupId>
  <artifactId>guava</artifactId>
  <version>31.0.1-jre</version>
</dependency>

有了 Guava 框架之后，只需要使用 Lists.partition 方法即可实现分片，如下代码所示：