java求两个大数据量list的并集和差集

写作前景

我的两个list集合的数据量都是非常大的在295w左右,因为同步数据差了2万,所以排查一下这2万数据.

求两个list的差集

//数据量大的集合
List<String> maxList = new ArrayList<>();
//数据量小的集合
List<String> minList = new ArrayList<>();
//中间数据转换存储
Map<String, String> map = new HashMap<>();
//差集
 List<String> arrayList = new ArrayList<>();
// 数据量小的集合把值存进map中
        minList .stream().forEach(s -> {
            map.put(s,s);
        });
       
        maxList .stream().forEach(s -> {
            String id = map.get(s);
            //判断如果为空
            if (StringUtils.isBlank(id)){
                arrayList.add(s);
            }
        });

求两个集合的并集

//数据量大的集合
List<String> maxList = new ArrayList<>();
//数据量小的集合
List<String> minList = new ArrayList<>();
//中间数据转换存储
Map<String, String> map = new HashMap<>();
//差集
 List<String> arrayList = new ArrayList<>();
// 数据量小的集合把值存进map中
        minList .stream().forEach(s -> {
            map.put(s,s);
        });
       
        maxList .stream().forEach(s -> {
            String id = map.get(s);
            //判断如果不为空
            if (StringUtils.isNotBlank(id)){
                arrayList.add(s);
            }
        });

这里的差集和并集的差异主要是看从map中获取数据的有无就可以

其他

1.在用这个方法之前我也用过 maxList.removeAll(minList),因为数据量非常大,然后就非常非常慢
2.也用过stream流,也不是很好,数据量太大都不合适,都会非常慢.

总结

如果你的数据是百万级别的,最好是用我的这个放法,如果是数据量比较小,可以用其他里面的方法.做个比喻,如果其他里面的方法要用30分钟,我的只需要3分钟!! 还是要根据自己的需求和数据量来确定用哪一个好!