List中数据量过大如何处理？集合拆分 + 并发处理（Lists.partition + Semaphore）你值得拥有

最新推荐文章于 2023-08-01 20:32:36 发布

逆天killer

最新推荐文章于 2023-08-01 20:32:36 发布

阅读量857

点赞数

分类专栏：生产中遇到的问题技术干货文章标签： java 开发语言

本文链接：https://blog.csdn.net/whlqunzhu/article/details/126163457

版权

技术干货同时被 2 个专栏收录

22 篇文章 1 订阅

订阅专栏

生产中遇到的问题

17 篇文章 0 订阅

订阅专栏

引入maven依赖

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>21.0</version>
</dependency>

代码举例:

public class ListPartitionDemo {

    public static void main(String[] args) {

        Semaphore semaphore = new Semaphore(2);

        List<String> list = new ArrayList<>();

        for (int i = 0; i < 35 ; i ++) {
            list.add(UUID.randomUUID().toString());
        }

        Lists.partition(list, 10).parallelStream().forEach(l -> {
            try {
                semaphore.acquire();
                Thread.sleep(2000);
                System.out.println(l);
            } catch (InterruptedException e) {
                e.printStackTrace();
            } finally {
                semaphore.release();
            }
        });
    }
}

理解说明:

在线程内部，在线程运行最开始，我们通过Semaphore的acquire方法获取运行许可（拿不到运行凭证是无法运行的），你也可以通过tryAcquire方法获取运行凭证，两个方法的区别是tryAcquire有一个布尔的返回值，是非阻塞的，而acquire是阻塞的，如果拿不到会一直等
如果说我们之前讲的锁，是单线程锁（同一时间只运行一个线程访问），那么Semaphore更像是一个多线程锁（同一时间允许多个指定线程访问），它也很像我们之前说的令牌桶（限流解决方案），凭令牌数据访问相关服务，与之不同的是，这里的Semaphore可以重复使用的，所以它同样可以用于限流，比如获取数据库连接，我们可以通过Semaphore来限制连接数。