distinct多个字段去重_考虑性能、优雅代码的情况下，List集合去重怎么操作？

1.使用LinkedHashSet删除arraylist中的重复数据

场景：考虑数据顺序、不允许添加重复数据

LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet在内部完成两件事：

• 删除重复数据
• 保持添加到其中的数据的顺序

Java示例使用LinkedHashSet删除arraylist中的重复项。在给定的示例中，numbersList是包含整数的arraylist，其中一些是重复的数字。

例如1,3和5.我们将列表添加到LinkedHashSet，然后将内容返回到列表中。结果arraylist没有重复的整数。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.LinkedHashSet;
 
public class ArrayListExample{
    public static void main(String[] args){
 
        ArrayList numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));
        System.out.println(numbersList);
        LinkedHashSet hashSet = new LinkedHashSet<>(numbersList);
        ArrayList listWithoutDuplicates = new ArrayList<>(hashSet);
        System.out.println(listWithoutDuplicates);
    }
}

输出结果

[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
 
[1, 2, 3, 4, 5, 6, 7, 8]

2.使用java8新特性stream进行List去重

场景： 数据量很大，考虑性能、效率。用java8流操作还是很快的

要从arraylist中删除重复项，我们也可以使用java 8新特性Stream流。使用steam的distinct()方法返回一个由不同数据组成的流，通过对象的equals()方法进行比较。

收集所有区域数据List使用Collectors.toList()。

Java程序，用于在不使用Set的情况下从java中的arraylist中删除重复项。

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.stream.Collectors;
 
public class ArrayListExample{
    public static void main(String[] args){
 
        ArrayList numbersList = new ArrayList<>(Arrays.asList(1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8));
        System.out.println(numbersList);
        List listWithoutDuplicates = numbersList.stream().distinct().collect(Collectors.toList());
        System.out.println(listWithoutDuplicates);
    }
}

输出结果

[1, 1, 2, 3, 3, 3, 4, 5, 6, 6, 6, 7, 8]
 
[1, 2, 3, 4, 5, 6, 7, 8]

3.利用HashSet不能添加重复数据的特性 

场景：不考虑添加的顺序

private static void removeDuplicate(List list) {
    HashSet set = new HashSet(list.size());
    List result = new ArrayList(list.size());for (String str : list) {if (set.add(str)) {
            result.add(str);
        }
    }
    list.clear();
    list.addAll(result);
}

4.利用List的contains方法循环遍历,重新排序,只添加一次数据,避免重复：

场景：需要一个新集合、数据量较小。性能稍差

private static void removeDuplicate(List list) {
    List result = new ArrayList(list.size());for (String str : list) {if (!result.contains(str)) {
            result.add(str);
        }
    }
    list.clear();
    list.addAll(result);
}

5.双重for循环去重场景：和第四个区别不大。性能稍差

for (

喜欢公众号的朋友可以 关注 、 点赞 、 点再看 ！

扫码关注

公众号:   Javatwjd

            博客:http://g6e.cn/R6RYZu

球分享

球点赞

球在看