把List拆分多个list分批插入数据（用JAVA8 Stream流方法）

最新推荐文章于 2024-09-18 17:39:05 发布

金蕊泛流霞

最新推荐文章于 2024-09-18 17:39:05 发布

阅读量5.5k

点赞数 4

分类专栏： Stream

本文链接：https://blog.csdn.net/songyinyi/article/details/118482796

版权

本文介绍了如何使用Java8的Stream流处理大数据量的List，避免堆内存溢出，通过将List拆分成多个包含500条数据的小List，实现分批插入数据的操作。

摘要由CSDN通过智能技术生成

首先业务需要将多条数据拆分进行插入，这样效率会高一点，不会造成堆内存溢出异常!!；否则会造成堆异常溢出异常，所以将其拆分成多条分批插入

        CsvReader reader = CsvUtil.getReader();
        //假设csv文件在classpath目录下
        List<jzsh_gd_busiorder> result = reader.read(
                ResourceUtil.getReader(

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

金蕊泛流霞

关注关注

4
点赞
踩
33

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Java-List分割工具类

兴趣是最好的老师

08-26

416

们创建一个工具类 ListBatchExecutor，它包含一个静态方法 executeInBatches，该方法接收一个。这样可以简化异常处理逻辑。ListSplitter，它包含一个静态方法 splitList，该方法接收一个列表和一个批次大小，并返回一个分。列表、一个处理每个元素的函数、一个自定义线程池，并利用 CompletableFuture 来并行处理这些。提供了一个静态方法 splitList，用于将输入列表分割成多个批次，每个批次的大小由参数。

Java 中 List 分片的 5 种方法

2401_83915450的博客

04-30

2089

针对以上面试题，小编已经把面试题+答案整理好了。

参与评论您还未登录，请先登录后发表或查看评论

使用stream 分割List为形同大小的集合

qq_41754735的博客

12-09

1802

使用stream 分割List为形同大小的集合 public static <T> List<List<T>> splitList(List<T> list, long splitSize) { //判断集合是否为空 if (CollectionUtils.isEmpty(list)) return Collections.emptyList(); //计算分割后的大小 l

jdk8 stream list分割切割分批次处理工具类

hjp2020的博客

06-19

6693

最近处理一个需求，需要将一批数据入库，处理的时候发现数据量超级大，于是就将批数据进行分割分批处理。直接上码 package com.store.common.utils; import java.util.*; import java.util.stream.Collectors; import java.util.stream.Stream; public class CommonUtil { /** * 计算切分次数 * @param size 需要分割的集合长度

【Java】将一个List拆分使用线程池多线程运行

最新发布

09-18

553

将点位List（pointList）分成每100个点为一组，循环每一组，每组开启100个线程进行获取数据，且前一组100个线程执行完毕后才进行下一组。

List集合拆分为多个List

专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.

10-17

3043

list 拆分是一个常见的需求。

java实现把一个List集合拆分成多个的操作

09-07

主要介绍了java实现把一个List集合拆分成多个的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

stream流按照个数分割list

京北游戏官方

09-07

3861

用法如下: 代码是将dPriceUptsListMap集合按照10个一份拆分 List<List<DPriceUpt>> dPriceUptGroup = Stream .iterate(0, f -> f + 1) .limit(size) .map(a -> dPriceUpts

将List切割为多个指定长度的多个List

紫月7575的博客

07-03

645

【代码】将List切割为多个指定长度的多个List。

java8 Stream 大数据量List分批处理切割

Chery Qi的博客

07-15

2265

java8 Stream 大数据量List分批处理 //按每3个一组分割 private static final Integer MAX_SEND = 3; public static void main(String[] args) { List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6, 7); int limit = countStep(list.size()); //方法一：使用流遍历操作

Stream流切割N个List

李静静

09-25

2113

public static void main(String[] args) { List<Integer> list = Arrays.asList(1, 2, 3, 4, 5, 6, 7); int limit = countStep(list.size()); //方法一：使用流遍历操作 List<List<Integer>> mglist = new ArrayList<>(); Stream.iterate(.

java8 Stream 大数据量List分批处理

CJYJP的博客

05-07

2452

java8 Stream 大数据量List分批处理 //一次500条 int applyIdSelectSize = 500; int limit = (paperNoList.size() + applyIdSelectSize - 1) / applyIdSelectSize; //分成limit次发请求到数据库，i...

java8 list根据字段分组形成Map

热门推荐

“看见月亮就想起你”的博客

04-05

1万+

通过java8 新特性Stream Api完成对List的分组操作,包含 1. 根据一个字段分组 2. 根据多个字段分组

Java对List集合拆分成多个集合

weixin_43926236的博客

04-24

1153

【代码】Java对List集合拆分成多个集合。

List集合拆分为多个list集合的方法

lyy521yibeizi的博客

06-01

2478

listMaps.add(exchangeRateDataList.stream().skip(30 * i).limit(30).collect(Collectors.toList()));

Java中将大list拆分成多个小list，分批操作

weixin_43687353的博客

03-09

6850

方法使用泛型, 支持自定义类型的入参 /** * 将list拆分成指定数量的小list * 注: 使用的subList方式,返回的是list的内部类,不可做元素的删除,修改,添加操作 * @param length 数量 * @param list 大list */ public List<List<T>> ...

java Stream流将List均分成一个新List

weixin_39456973的博客

03-01

4222

使用IntStream.range()方法生成原始列表的索引流，并使用Collectors.groupingBy()方法将索引分成分组。然后，它将每个分组中的索引映射为原始列表中的元素，并使用Collectors.toList()方法将它们收集到一个新的List中。使用这种方法可以非常高效地均分列表，因为它只需要遍历原始列表一次，并且使用了Java 8的并行流特性，可以更快地处理大型列表。首先将originalList均分成大小为3的子列表，并将它们存储在partitionedList中。

list 数据 stream 自定义分段

changyus的专栏

01-06

788

list 数据 stream 自定义分段其实就是把list分页

请给我一个List集合使用多线程的方式分批插入数据的Java代码

02-22

可以使用如下的Java代码来实现：List list = new ArrayList(); int maxThreadCount = 10; ExecutorService executorService = Executors.newFixedThreadPool(maxThreadCount); int batchSize = 1000; int listSize = list.size(); int threadCount = listSize/batchSize + (listSize%batchSize > 0 ? 1 : 0); for(int i=0; i<threadCount; i++){ int startIndex = i * batchSize; int endIndex = (i+1) * batchSize; endIndex = endIndex > listSize ? listSize : endIndex; Runnable runnable = new BatchInsertRunnable(list,startIndex, endIndex); executorService.execute(runnable); } executorService.shutdown(); while(!executorService.isTerminated()){ //wait for all thread to finish }