Java8 Stream 数据流,大数据量下的性能效率怎么样?

本文探讨了Java中Stream的函数式特性,如惰性求值和无限流,强调其代码简洁性。然而,文章指出在小数据量和传统迭代(iterator)相比,Stream的性能较低,特别是单线程情况下。但在多核环境下和大数据处理时,parallelStream可以提高效率。作者提供了性能测试和Java开发学习资源的相关信息。
摘要由CSDN通过智能技术生成

  • 无存储: 流并不存储值;流的元素源自数据源(可能是某个数据结构、生成函数或I/O通道等等),通过一系列计算步骤得到;

  • 函数式风格: 对流的操作会产生一个结果,但流的数据源不会被修改;

  • 惰性求值: 多数流操作(包括过滤、映射、排序以及去重)都可以以惰性方式实现。这使得我们可以用一遍遍历完成整个流水线操作,并可以用短路操作提供更高效的实现;

  • 无需上界: 不少问题都可以被表达为无限流(infinite stream):用户不停地读取流直到满意的结果出现为止(比如说,枚举 完美数 这个操作可以被表达为在所有整数上进行过滤);集合是有限的,但流可以表达为无线流;

  • 代码简练: 对于一些collection的迭代处理操作,使用 stream 编写可以十分简洁,如果使用传统的 collection 迭代操作,代码可能十分啰嗦,可读性也会比较糟糕;

stream 和 iterator 迭代的效率比较


好了,上面 stream 的优点吹了那么多,stream 函数式的写法是很舒服,那么 steam 的效率到底怎样呢?

先说结论:

  • 传统 iterator (for-loop) 比 stream(JDK8) 迭代性能要高,尤其在小数据量的情况下;

- 在多核情景下,对于大数据量的处理,parallel stream 可以有比 iterator 更高的迭代处理效率;

我分别对一个随机数列 List (数量从 10 到 10000000)进行映射、过滤、排序、规约统计、字符串转化场景下,对使用 stream 和 iterator 实现的运行效率进行了统计,测试代码 基准测试代码链接

测试环境如下:

System:Ubuntu 16.04 xenial

CPU:Intel Core i7-8550U

RAM:16GB

JDK version:1.8.0_151

JVM:HotSpot™ 64-Bit Server VM (build 25.151-b12, mixed mode)

JVM Settings:

-Xms1024m

-Xmx6144m

-XX:MaxMetaspaceSize=512m

-XX:ReservedCodeCacheSize=1024m

-XX:+UseConcMarkSweepGC

-XX:SoftRefLRUPolicyMSPerMB=100

1. 映射处理测试

把一个随机数列(List<Integer>)中的每一个元素自增1后,重新组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x -> x)

.map(x -> ++x)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>();

for(Integer e : list){

result.add(++e);

}

//parallel stream

List result = list.parallelStream()

.mapToInt(x -> x)

.map(x -> ++x)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

2. 过滤处理测试

取出一个随机数列(List<Integer>)中的大于 200 的元素,并组装为一个新的 List<Integer>,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x -> x)

.filter(x -> x > 200)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>(list.size());

for(Integer e : list){

if(e > 200){

result.add(e);

}

}

//parallel stream

List result = list.parallelStream()

.mapToInt(x -> x)

.filter(x -> x > 200)

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

3. 自然排序测试

对一个随机数列(List<Integer>)进行自然排序,并组装为一个新的 List<Integer>,iterator 使用的是 Collections # sort API(使用归并排序算法实现),测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

List result = list.stream()

.mapToInt(x->x)

.sorted()

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

//iterator

List result = new ArrayList<>(list);

Collections.sort(result);

//parallel stream

List result = list.parallelStream()

.mapToInt(x->x)

.sorted()

.boxed()

.collect(Collectors.toCollection(ArrayList::new));

4. 归约统计测试

获取一个随机数列(List<Integer>)的最大值,测试的随机数列容量从 10 - 10000000,跑10次取平均时间;

//stream

int max = list.stream()

.mapToInt(x -> x)

.max()

.getAsInt();

//iterator

int max = -1;

for(Integer e : list){

if(e > max){

max = e;

}

}

//parallel stream

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

img

分享

首先分享一份学习大纲,内容较多,涵盖了互联网行业所有的流行以及核心技术,以截图形式分享:

(亿级流量性能调优实战+一线大厂分布式实战+架构师筑基必备技能+设计思想开源框架解读+性能直线提升架构技术+高效存储让项目性能起飞+分布式扩展到微服务架构…实在是太多了)

其次分享一些技术知识,以截图形式分享一部分:

Tomcat架构解析:

算法训练+高分宝典:

Spring Cloud+Docker微服务实战:

最后分享一波面试资料:

切莫死记硬背,小心面试官直接让你出门右拐

1000道互联网Java面试题:

Java高级架构面试知识整理:

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!
0132)]

Spring Cloud+Docker微服务实战:

[外链图片转存中…(img-etmyvOJ3-1711978980133)]

最后分享一波面试资料:

切莫死记硬背,小心面试官直接让你出门右拐

1000道互联网Java面试题:

[外链图片转存中…(img-w2pnUn0W-1711978980133)]

Java高级架构面试知识整理:

[外链图片转存中…(img-OTMoszcg-1711978980133)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值