重复数据快速去重方法哪家好？

1for循环遍历：

实现思路：使用两个for循环遍历集合所有元素，然后进行判断是否有相同元素，如果有，则去除。这种方式是大部分最先想到的，也是最简单的实现方式。其中，这种方式可以保证List集合原来的顺序不变。

2HashSet实现

实现思路：我们知道HashSet实现了Set接口，不允许出现重复元素。

可以基于这个想法，把List集合所有元素存入HashSet对象，接着把List集合元素全部清空，最后把HashSet对象元素全部添加至List集合中，这样就可以保证不出现重复元素。而HashSet有一个构造函数，在初始化时可以直接添加元素。其中，HashSet不能保证顺序不变，所以此方式不能保证List集合原来的顺序不变。

3TreeSet集合

实现思路：TreeSet集合也是实现Set接口，是一个有序的，并且无重复元素集合。同理，我们可以根据上面方式二的思想进行去重。其中，去重后的List集合可以保证和原来的顺序一致。

4List集合contains方法循环遍历

实现思路：利用List集合contains方法循环遍历，先创建新的List集合，接着循环遍历原来的List集合，判断新集合是否包含有旧集合，如果有，则不添加至新集合，否则添加。

最后，把旧集合清空，把新集合元素赋值给旧集合。

测试：

随机生成0-500之间的20000个整数字符串，并存入List集合，并在相应代码打印相关时间进行对比。

测试对比：

public static void main(String[] args){
   //随机生成0-500之间的1000个整数字符串List集合
   List<String> list = getRandomList();

   //为了演示四种方式效率，创建四个List集合，保证List集合元素一致
   //方式一List集合
   List<String> oneList = new ArrayList<>();
   oneList.addAll(list);
   //方式二List集合
   List<String> twoList = new ArrayList<>();
   twoList.addAll(list);
   //方式三List集合
   List<String> thirdList = new ArrayList<>();
   thirdList.addAll(list);
   //方式四List集合
   List<String> fourthList = new ArrayList<>();
   fourthList.addAll(list);

   System.out.println("方式一：使用两个for循环实现List去重");
   System.out.println("原来集合大小:"+oneList.size()+"，集合元素>>"+oneList);
   Date oneDateBegin = new Date();
   repeatListWayOne(oneList);
   System.out.println("集合去重大小:"+oneList.size()+"，集合元素>>"+oneList);
   Date oneDateEnd = new Date();
   System.out.println("去重所需时间:"+(oneDateEnd.getTime()-oneDateBegin.getTime())+"毫秒");

   System.out.println("方式二：使用HashSet实现List去重");
   System.out.println("原来集合大小:"+twoList.size()+"，集合元素>>"+twoList);
   Date twoDateBegin = new Date();
   repeatListWayTwo(twoList);
   System.out.println("集合去重大小:"+twoList.size()+"，集合元素>>"+twoList);
   Date twoDateEnd = new Date();
   System.out.println("去重所需时间:"+(twoDateEnd.getTime()-twoDateBegin.getTime())+"毫秒");

   System.out.println("方式三：使用TreeSet实现List去重");
   System.out.println("原来集合大小:"+thirdList.size()+"，集合元素>>"+thirdList);
   Date thirdDateBegin = new Date();
   repeatListWayThird(thirdList);
   System.out.println("集合去重大小:"+thirdList.size()+"，集合元素>>"+thirdList);
   Date thirdDateEnd = new Date();
   System.out.println("去重所需时间:"+(thirdDateEnd.getTime()-thirdDateBegin.getTime())+"毫秒");

   System.out.println("方式四：利用List集合contains方法循环遍历去重");
   System.out.println("原来集合大小:"+fourthList.size()+"，集合元素>>"+fourthList);
   Date fourthDateBegin = new Date();
   repeatListWayFourth(fourthList);
   System.out.println("集合去重大小:"+fourthList.size()+"，集合元素>>"+fourthList);
   Date fourthDateEnd = new Date();
   System.out.println("去重所需时间:"+(fourthDateEnd.getTime()-fourthDateBegin.getTime())+"毫秒");
}

多次测试结果

第一次四种方式运行时间如下：223、10、16、30；

第二次四种方式运行时间如下：164、10、17、43；

第三次四种方式运行时间如下：164、9、16、37。

 

综合代码及运行时间对比，方式二是最好的去重方式，代码最简洁、耗时最短。