前言:
还记得在2021我发布的第一篇博客就是关于数组的去重,从那一刻开始,命运的齿轮开始转动……
扯远了哈哈哈,我重新写这篇文章只是想让去重方式更加严谨(ps:我才不会说是因为技术成长了,看不上之前写的了哈哈哈
方式一:
依据Set集合的特性,使用set去重(最简洁高效)
/**
* 使用set去重
*
* @param list
*/
private void setDistinct(List<String> list) {
System.out.println("Set 开始去重,条数:" + list.size());
List<String> listDistinctResult = new ArrayList<>(new HashSet(list));
System.out.println("Set 去重完毕,条数:" + listDistinctResult.size());
}
方式二:
使用高级的stream流方式去重(可读性高,效率高)
/**
* 使用Stream 去重
*
* @param list
*/
private void useStreamDistinct(List<String> list) {
System.out.println("stream 开始去重,条数:" + list.size());
List<String> listDistinctResult = list.stream().distinct().collect(Collectors.toList());
System.out.println("stream 去重完毕,条数:" + listDistinctResult.size());
}
方式三:
使用list.contain去重(效率一般)
/**
* 使用 list.contain 去重,返回一个新集合
*
* @param list
*/
private void listContainDistinct(List<String> list) {
System.out.println("contains 开始去重,旧集合条数:" + list.size());
List<String> listDistinctResult = new ArrayList<>();
for (String str : list) {
if (!listDistinctResult.contains(str)) {
listDistinctResult.add(str);
}
}
System.out.println("contains 去重完毕,新集合条数:" + listDistinctResult.size());
}
方式四:
喜闻乐见的for循环去重(最常见,数据量大不建议使用)
/**
* 使用for循环去重
* @param list
*/
private void useForDistinct(List<String> list) {
System.out.println("list 双循环 开始去重,条数:" + list.size());
for (int i = 0; i < list.size(); i++) {
for (int j = i + 1; j < list.size(); j++) {
if (list.get(i).equals(list.get(j))) {
list.remove(j);
}
}
}
System.out.println("list 双循环 去重完毕,条数:" + list.size());
}
特殊情况:
以上都是简单的list集合去重,但是当我们遇到一些特殊情况,比如:当一个集合中存的是Map,Map中有一些键值是重复,而我们需要去除这些重复的对象;以上的三种方式就不太适用了,这种情况就只能使用多层级for循环来做了(这种复杂情况应该可以使用stream来做,不过没试过就不说了),当然数据量大的话肯定效率是比较吃紧的,因此如果在不需要数据实时同步的情况下,可以考虑新开线程去执行这个去重然后走之后的业务流程
这种特殊情况的代码如下:
/**
* 数组去重
* (目前仅针对于前三列相同进行去重;
* 例如:业务层面来讲:即当用户名,身份证,手机号,邮箱等重要信息都相同时,
* 去除这一重复数据)
*
* @param dataList
* @return
*/
private List<Map<Integer, String>> removeSameMapData(List<Map<Integer, String>> dataList) {
int i = 0;
List<Map<Integer, String>> distinctList = new ArrayList<>();
for (Map<Integer, String> map : dataList) {
boolean isDuplicate = false;
for (Map<Integer, String> distinctMap : distinctList) {
for (Map.Entry<Integer, String> entry : map.entrySet()) {
Integer key = entry.getKey();
if (key <= 3 && StringUtils.equals(map.get(key), distinctMap.get(key))){
i ++;
}
if (i >= 3){
i = 0;
isDuplicate = true;
break;
}
}
}
if (!isDuplicate) {
distinctList.add(map);
}
}
return distinctList;
}