有这么个场景,每天需要定时任务插入增量数据。如果通过接口获取的直接根据时间过滤,那么就能直接就可以插入库中。但有时获取到的并不是增量数据,比如微信公众号获取关注者列表时,获取到的是全量数据,这样每天就得将全量数据与库中进行比较,只有库中不存在数据才进行插入。这就有了两个list比较差值的问题。
以前在处理该问题时,会遍历全量中的list,然后判断每个对象是否已在数中存在,如果不存在就放到一个临时List中,最后返回的临时List就是增量数据了,代码如下:
private List<String> getNeedAddOpenidList(List<String> allOpenidList, List<String> dbOpenidList) {
if (dbOpenidList != null && !dbOpenidList.isEmpty()) {
List<String> resultList = new ArrayList<String>();
if (allOpenidList != null && !allOpenidList.isEmpty()) {
for (String openid : allOpenidList) {
if (!dbOpenidList.contains(openid)) {
resultList.add(openid);
}
}
}
return resultList;
} else {
return allOpenidList;
}
}
但这种在处理几千条数据还好,等上万、或上十万时,执行效率就会很低。即便我后来用list1.removeAll(list2)时,在处理40万条数据时,10分钟根本处理不完。
后来用如下方法,瞬间完成:
private List<String> getNeedAddOpenidList(List<String> allOpenidList, List<String> dbOpenidList) {
if (dbOpenidList != null && !dbOpenidList.isEmpty()) {
Map<String, String> dataMap = new HashMap<String, String>();
for (String id : dbOpenidList) {
dataMap.put(id, id);
}
List<String> newList = new ArrayList<String>();
for (String id : allOpenidList) {
if (!dataMap.containsKey(id)) {
newList.add(id);
}
}
return newList;
} else {
return allOpenidList;
}
}
1.将数据库中的list转成一个map集合
2.遍历获取到的全量数据,通过主键或唯一索引之类的字段进行比较
3.如果map.get(key)不存在,放到一个临时List中
4.最后将临时List返回
原因就是底层数据结构来实现的,list虽然有随机访问特性,但如果要查找某值,需要遍历查找。而Map用hashCode去命中,再去链表查找,效率会提升很多。
当然如果只看key,不需要value值存储的话,也可以用HashSet的数据结构,其底层的存储其实也是用HashMap来实现的,只是只用了key而已。