Java【代码分享 09】多线程处理List数据核心代码说明（下标越界、数据丢失及效率问题）_java 多线程分批处理list,总有几条数据没处理到

本文链接：https://blog.csdn.net/2301_76224593/article/details/138226144

1.问题说明

大数据量的List问题处理，多线程分批处理，需要解决的问题：

下标越界。
线程安全。
数据丢失。

    private List<Map<String, Object>> dealDataByThreads(List<String> dataList) {
        int dataSize = dataList.size();
        // 结果数据【1】
        List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));
        // 每批的记录数据并计算批次
        int numberBatch = 2000;
        double number = dataSize \* 1.0 / numberBatch;
        int n = ((Double) Math.ceil(number)).intValue();
        // 根据参数开启线程
        CountDownLatch countDownLatch = new CountDownLatch(n);
        ThreadPoolExecutor executor = ThreadManager.executor;
        // 分批处理数据
        for (int i = 0; i < n; i++) {
            // 计算sub的toIndex
            int end = numberBatch \* (i + 1);
            if (end > dataSize) {
                end = dataSize;
            }
            // 获取分批数据
            List<String> dataListSub = dataList.subList(numberBatch \* i, end);
            int finalI = i;
            int finalEnd = end;
            executor.submit(() -> {
                long startMillis = System.currentTimeMillis();
                //【2】
                dataMap.addAll(dealData(dataListSub));
                countDownLatch.countDown();
                long endMillis = System.currentTimeMillis();
                log.info("当前线程[{}]处理{}-{}/{}耗时[{}]毫秒", Thread.currentThread().getName(), numberBatch \* finalI, finalEnd, dataSize, endMillis - startMillis);
            });
        }
        // 主线程等待
        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return dataMap;
    }

2.代码说明

使用dataSize初始化 Map 对象，可以避免 Map 对象的重构导致的下标越界。

List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以点击这里获取
、讲解视频，并且后续会持续更新**

需要这份系统化资料的朋友，可以点击这里获取