Java 8 中并行流的使用注意事项
使用Java 8 中的并行流已经有很长一段时间,有很多时候对于集合的处理可以不再去使用多线程,而直接使用并行流,因为并行流是线程安全的。但是我发现有很多人也包括我在使用并行流的时候,并没有正确的去使用它,而导致一些问题,甚至怀疑并行流到底是不是线程安全的。
为了找到避免这个不正确用法坑,为此我写了一些并行流的示例。
错误的使用方式
这里我写了一个很常见的错误用法:
List integers = new ArrayList<>();
for (int i = 0; i < 1000; i++ ) {
integers.add(i);
}
List strings = new ArrayList<>();
integers.parallelStream().forEach(i -> strings.add(i.toString()));
System.out.println(strings);
输出结果:
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
...
Caused by: java.lang.ArrayIndexOutOfBoundsException: 823
at java.util.ArrayList.add(ArrayList.java:463)
at xin.codedream.parallel.ParallelStreamExample.lambda$main$0(ParallelStreamExample.java:18)
...
是的,这种错误的使用方式会导致下标越界或者空指针异常。这个时候就会有人怀疑并行流的线程安全问题。
把ArrayList换成线程安全的CopyOnWriteArrayList或者使用Collections.synchronizedList()来创建一个线程安全的集合。
使用线程安全的集合
这是使用CopyOnWriteArrayList的示例:
List integers = new ArrayList<>();
for (int i = 0; i < 1000; i++ ) {
integers.add(i);
}
List strings = new CopyOnWriteArrayList<>();
integers.parallelStream().forEach(i -> strings.add(i.toString()));
System.out.println(strings);
输出结果:
[656, 657, 658...873, 874]
值得庆幸的是这段代码并没有报错。但,我们去看看它的代码你会发现使用了锁:
java.util.concurrent.CopyOnWriteArrayList#add(E)
...
public boolean add(E e) {
final ReentrantLock lock = this.lock;
lock.lock();
try {
Object[] elements = getArray();
int len = elements.length;
Object[] newElements = Arrays.copyOf(elements, len + 1);
newElements[len] = e;
setArray(newElements);
return true;
} finally {
lock.unlock();
}
}
同样使用Collections.synchronizedList(),也能创建线程安全的集合,同样的我们去看看它的代码:
java.util.Collections.SynchronizedList#add
...
public void add(int index, E element) {
synchronized (mutex) {list.add(index, element);}
}
同样的,也是用锁。线程安全的集合的性能有一定下降,那我们来看看正确的使用方法。
并行流正确的使用方法
List integers = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
integers.add(i);
}
List strings = integers.parallelStream().collect(ArrayList::new, (arrayList, i) -> {
arrayList.add(i.toString());
}, List::addAll);
System.out.println(strings);
输出结果:
[0, 1, 2...998, 999]
是的,这就是并行流正确的使用方法,而且可以看到还是数字也是连续的,并不像使用线程安全的集合那样并非从头到尾都是连续的数字。
排查不正确使用方式出错的原因
为了找出这个不正确使用方式导致的出错的原因,我看了看相关的源代码java.util.stream.ForEachOps.ForEachTask#compute:
中的这一行代码task.propagateCompletion();:
在不正确的方式下执行了多次,而正确方式下并行流,却没有执行过一次。
我猜测,导致使用出错的原因是因为,并行流在分割任务时由于之前分割的任务还没执行完,而已经执行任务的线程,去将未执行完或者执行到一半的线程的任务再次进行分割后去执行,而使用的是非线程安全的类被其他线程重复的执行,而导致出错或者结果不对。
这次排查,我并没有很找出导致出错的真正原因,所以只是猜测它可能是因为这个原因而导致出错。真正排查出这个原因后,将会更新此文。