本文探讨了在大数据量下，如何高效计算Java集合的交集。除了常见的JDK自带的retainAll()方法，还介绍了Guava库的Sets.intersection()、Java8的并行流parallelStream()、双指针法以及BitSet方法，并通过实验比较了它们的效率。实验结果显示，BitSet方法在效率上表现最佳，Guava方法次之，而JDK的retainAll()方法效率最低。
两个List集合求交集想必学过Java的都知道用系统自带的retainAll()方法，但是在数据量比较大时，这个方法效率并不高，利用空余时间研究了几种数据量较大时求两个集合交集的办法。本文主要研究了JDK自带方法求交集、Guava集合求交集、Java8的parallelStream并行流求交集、双指针方法求交集以及bitmap求交集的方法和效率。
JDK自带方法
最常用的求交集方法，在小数据量的时候没什么问题，一旦两个集合的数据量达到几十万级别时，效率就严重偏低，底层实际上也是两个for循环加一个contains判断，只不过JDK做了一些相应优化，不是单纯O(n^2)的双重for循环，感兴趣的同学可以阅读相应源码。
Guava集合工具类
Guava是谷歌出的一个工具类，里面包含了很多实用的方法，求交集的方法为Sets.intersection(list, list2)实际测试下来相当高效。
Java8并行流
parallelStream()借用了Java7的Fork/Join框架，采用分治+多线程的思想来求交集
双指针法
双指针法又称拉链法，就是先将两个集合排序，然后借用了二路归并排序的思想，利用两个指针分别在两个集合里面做标记，比较大小然后滑动，最后得到结果。
BitMap方法
将数据存进两个bitMap中，然后进行与操作，得到最终结果，属于一种空间换时间的方法，BitMap思想在海量数据处理中有很多妙用。
下面贴上具体实现的代码:
package com.test.spring.learn.retainall;
import com.google.common.collect.Sets;
import org.apache.commons.lang3.StringUtils;
import java.io.*;
import java.util.*;
import java.util.stream.Stream;
import static java.util.stream.Collectors.toList;
/**
* Created by GeekBoy on 2020/1/4.
*/
public class RetainAllTest {
public static void main(String[] args) {
retainAllByGuava();
retainAllByBitSet();
retainAllByTwoPoint();
retainAllByStream();
retainAllByJDK();
}
/**
* 用JDK方法求交集
*/
private static void retainAllByJDK() {
List txtList = getIntegerList("e:\\a.txt");
List txtList2 = getIntegerList("e:\\b.txt");
long begin = System.currentTimeMillis();
txtList.retainAll(txtList2);
long end = System.currentTimeMillis();
System.out.println("JDK方法耗时:" + (end - begin));
System.out.println("交集的个数为:" + txtList.size());
}
/**
* 利用guava集合求交集
*/
private static void retainAllByGuava() {
List txtList = getIntegerList("e:\\a.txt");
List txtList2 = getIntegerList("e:\\b.txt");
long begin = System.currentTimeMillis();
Set list = new HashSet<>(txtList);
Set list2 = new HashSet<>(txtList2);
Sets.SetView intersection = Sets.intersection(list, list2);
long end = System.currentTimeMillis();
System.out.println("guava方法耗时:" + (end - begin));
System.out.println("交集的个数为:" + intersection.size());
}
/**
* java8 stream流求交集，实质上底层是用的多线程fork/join框架
*/
private static void retainAllByStream() {
List txtList = getIntegerList("e:\\a.txt");
List txtList2 = getIntegerList("e:\\b.txt");
long begin = System.currentTimeMillis();
long count = txtList.parallelStream().
filter(item -> txtList2.contains(item)).count();
long end = System.currentTimeMillis();
System.out.println("stream流求交集方法耗时:" + (end - begin));
System.out.println("交集的个数为:" + count);
}
/**
* 双指针法求两个list的交集
*/
private static void retainAllByTwoPoint() {
List txtList = getIntegerList("e:\\a.txt");
List txtList2 = getIntegerList("e:\\b.txt");
long begin = System.currentTimeMillis();
Collections.sort(txtList);
Collections.sort(txtList2);
int count = 0;
int m = 0;
int n = 0;
int length = txtList.size() + txtList2.size();
for (int i = 0; i < length; i++) {
if (m < txtList.size() && n < txtList2.size()) {
if (txtList.get(m).equals(txtList2.get(n))) {
count++;
m++;
n++;
} else if (txtList.get(m).compareTo(txtList2.get(n)) > 0) {
n++;
} else {
m++;
}
} else if (m < txtList.size()) {
if (txtList.get(m).equals(txtList2.get(n - 1))) {
count++;
}
m++;
} else if (n < txtList2.size()) {
if (txtList.get(m - 1).equals(txtList2.get(n))) {
count++;
}
n++;
}
}
long end = System.currentTimeMillis();
System.out.println("双指针方法耗时:" + (end - begin));
System.out.println("交集的个数为:" + count);
}
/**
* 利用bitmap求两个list的交集
*/
private static void retainAllByBitSet() {
List txtList = getIntegerList("e:\\a.txt");
List txtList2 = getIntegerList("e:\\b.txt");
long begin = System.currentTimeMillis();
BitSet bitSet = new BitSet(Collections.max(txtList));
BitSet bitSet1 = new BitSet(Collections.max(txtList2));
for (int i = 0; i < txtList.size(); i++) {
bitSet.set(txtList.get(i));
}
for (int i = 0; i < txtList2.size(); i++) {
bitSet1.set(txtList2.get(i));
}
bitSet.and(bitSet1);
long end = System.currentTimeMillis();
System.out.println("bitSet方法耗时:" + (end - begin));
System.out.println("交集的个数为:" + bitSet.cardinality());
}
/**
* 从文件读取两个list
*
* @param filePath
* @return
*/
private static List getIntegerList(String filePath) {
InputStream inputStream = null;
InputStreamReader is = null;
BufferedReader br = null;
Set txtList = new HashSet<>();
try {
File txtFile = new File(filePath);
if (txtFile.exists()) {
inputStream = new FileInputStream(txtFile);
is = new InputStreamReader(inputStream, "UTF-8");
br = new BufferedReader(is);
String str = null;
while ((str = br.readLine()) != null) {
if (StringUtils.isNotBlank(str)) {
txtList.add(Integer.valueOf(str));
}
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (inputStream != null) {
inputStream.close();
}
if (is != null) {
is.close();
}
if (br != null) {
br.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
return new ArrayList<>(txtList);
}
}
最终的运行结果如下，只运行了一次，结果并不严谨，仅供参考：
guava方法耗时:33
交集的个数为:151695
bitSet方法耗时:25
交集的个数为:151695
双指针方法耗时:63
交集的个数为:151695
stream流求交集方法耗时:28240
交集的个数为:151695
JDK方法耗时:91838
交集的个数为:151695
从上面的结果可以看出bieSet是最快的，guava的方法其次，JDK自带的最慢。平时使用如果数据量不是太大用guava的工具类即可，不得不说谷歌的算法还是相当厉害的。
参考链接
镜像地址
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
