c#中关于list去重的问题

List在我们日常的开发中可谓是常客，我个人也非常喜欢，从数据库查询出来的数据或者excel导入的数据，我都喜欢先转换为对应的类型list，在搭配System.Linq下的拓展方法，基本可以应付绝大多数的数据操作了。今天在做导入的时候，需要对数据先进行去重处理，发现有几个容易忽略的点，发出来大家一起探讨一下。

System.Linq下为IEnumerable（List是它的子类）拓展了Distinct方法，用于对结果集进行去重处理。下面我们来看一下我们可能正在犯的错误吧。

首先我们定义一个class来演示，并且向它追加一些重复的成员，看一下Distinct()的效果如何：

        static void Main(string[] args)
        {
            List<int> ints = new List<int>() { 12,12,23,45,23,23,23,23,23,12};
            ints.Add(45);
            List<int> newList = ints.Distinct().ToList();
            foreach (int item in newList) {
                Console.Write(item +",");
            }
            Console.Read();
        }

结果输出： 12，23，45   很好没有问题，圆满的实现了我们的需求。

重点来了，我们再看一个例子，先定义个model类如下：

    public class TBINPN {
        public int  ID { get; set; }
        public string PN { get; set; }
        public string SPEC { get; set; }
        public string GOODS { get; set; }
        public string HSCODE { get; set; }
    }

创建一个List，并且向它追加一些重复的成员，看一下Distinct()的效果如何：

    static void Main(string[] args)
        {
            List<tbinpn> tbinpns = new List<tbinpn>();
            tbinpns.Add(new tbinpn { ID = 0, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new tbinpn { ID = 0, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new tbinpn { ID = 0, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new tbinpn { ID = 0, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            List<tbinpn> newTbinpns = tbinpns.Distinct().ToList();
            Console.WriteLine($"去重后还剩 {newTbinpns.Count()} 条数据。");
            Console.Read();
        }

这次输出的结果有点奇怪了，我们的list中命名是4条完全重复的记录！

上面我们介绍到Distinct有两个重载，分别是：

 第一个需要我们传递一个比较器，而我们刚刚使用的是第二个，没有给比较器，所以自动使用了默认的比较器，但是为啥第一个demo可以而第二个不行?因为第一个demo中我们是对值类型进行去重的，默认的比较器是可以完成的，但是后面的demo是引用类型，默认比较器比较的是其引用地址，list中的每一个元素都是一个新实例，所以地址是不一样的，因此没办法去重。

 一起来看一下，如何自定义一个比较器，实现引用类型的去重吧，首先我们定义一个类集成IEqualityComparer接口，然后按照vs的提示我们让vs自动帮我们实现这个接口，然后我们修改Equals和GetHashCode这两个方法即可。代码如下：

    public class Comparer: IEqualityComparer<TBINPN>
    {
        public bool Equals(TBINPN x, TBINPN y)
        {
            //这里定义比较的逻辑
            return x.ID == y.ID && x.PN == y.PN;
        }

        public int GetHashCode(TBINPN obj)
        {
            //返回字段的HashCode，只有HashCode相同才会去比较
            return obj.ID.GetHashCode();
        }
    }

将刚刚的代码稍作修改，将比较器传递进去看一下结果：

        static void Main(string[] args)
        {
            List<TBINPN> tbinpns = new List<TBINPN>();
            tbinpns.Add(new TBINPN { ID = 1, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new TBINPN { ID = 1, PN = "123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new TBINPN { ID = 2, PN = "321123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            tbinpns.Add(new TBINPN { ID = 2, PN = "321123", SPEC = "123", GOODS = "123", HSCODE = "123" });
            List<TBINPN> newTbinpns = tbinpns.Distinct(new Comparer()).ToList();
            Console.WriteLine($"去重后还剩 {newTbinpns.Count()} 条数据。");
            Console.Read();
        }

 结果表明我们已经实现了引用类型的去重。