java parallelstream_你使用过Java8中的parallelStream?

前言

并行编程势不可挡,Java从1.7开始就提供了Fork/Join 支持并行处理。java1.8 进一步加强。

并行处理就是将任务拆分子任务,分发给多个处理器同时处理,之后合并。

89f191b51b27740ac914cefac4c935ee.png

Stream API

Java 8 引入了许多特性,Stream API是其中重要的一部分。区别 InputStream OutputStream,Stream API 是处理对象流而不是字节流。

执行原理如下,流分串行和并行两种执行方式

a6843d82e21632d8763a1e1ba830fccf.png

// 串行执行流

stream().filter(e -> e > 10).count();

// 并行执行流

.parallelStream().filter(e -> e > 10).count()

ea41c16c71a9a35d1a2ed5dcc6ee985e.png

ParallelStreams执行原理

并行执行时,java将流划分为多个子流,分散在不同CPU并行处理,然后进行合并。

并行一定比串行更快吗?这不一定,取决于两方面条件:

处理器核心数量,并行处理核心数越多自然处理效率会更高。

处理的数据量越大,优势越强。这也很好理解,比如十个人干一个人就能完成的活儿会比它自己干更便宜?

ParallelStreams注意事项

使用并行流时,不要使用collectors.groupingBy,collectors.toMap,替代为

collectors.groupingByConcurrent , collectors.toConcurrentMap,或直接使用串行流。

原因,并行流执行时,通过操作Key来合并多个map的操作比较昂贵。详细大家可以查看官网介绍。

f64b457c8b420c734c13b38afb946b8f.png

Map> byGender =

roster

.stream()

.collect(Collectors.groupingBy(Person::getGender));

ConcurrentMap> byGender =

roster

.parallelStream()

.collect(Collectors.groupingByConcurrent(Person::getGender));

ParallelStreams 默认使用 ForkJoinPool.commonPool()线程池。

注意:默认情况下,你写的 ParallelStreams 都是通过该线程池调度执行,整个应用程序都共享这个线程池。

看一个例子,我们查询一批新闻数据,可以利用并行化来处理远程新闻下载。

public List queryNews(Stream ids) {

return ids.parallel()

.map(this::getNews) // 网络操作,新闻下载

.collect(toList());

}

因为是网络操作,存在很多不确定性,假如某个任务运行时间较长,导致线程池资源占据,阻塞其它线程,这样就阻止了其他的并行流任务正常进行。

如果解决这个问题的其中一种方式,进行线程池隔离。那么如何自定义并行流的线程池呢?

ForkJoinPool 构造参数我们默认设置为CPU核心数。

ForkJoinPool customThreadPool = new ForkJoinPool(4);

long actualTotal = customThreadPool

.submit(() -> roster.parallelStream().reduce(0, Integer::sum)).get();

针对 Stream API 一些局限性,Github上有个开源库做了补充。

总结

Java 1.8 提供的Stream API简化了代码,很好用。不过在使用过程中应该注意以上问题。

欢迎大家留言交流,一起学习分享!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值