按照指定字段删除DataTable中的重复行

在DataTable中，如果要删除重复行，可以使用如下代码。

DataView dv = new DataView(finalResultSet.ResultDataTable);
DataTable dt2 = dv.ToTable(true);

根据现有DataView中的行，创建并返回一个新的DataTable。参数Boolean如果为true，则返回所有列都具有不同值的行，为false时不去重，且默认为false。

但是有的时候我们的需求是认为如果一行中的某几个字段重复，则该行就认为重复。在DataTable中，按照指定字段，来定义重复行。这里的例子中，如果一行中有AGENCY_NAME,CONTRACT_NO,TRANSFER_DATE,CALL_TIME四个字段的值一样，那么我们就认为这是一个重复的行。

private static void RemoveDuplicateRows(DataTable table)
        {
            ArrayList UniqueRecords = new ArrayList();
            ArrayList DuplicateRecords = new ArrayList();

            // Check if records is already added to UniqueRecords otherwise,
            // Add the records to DuplicateRecords
            foreach (DataRow dRow in table.Rows)
            {
			//这里是需要比较是否为重复行的四个列。如果只有一个列需要比较，那么就写一个字段就可以了。
                string compareValue = dRow["AGENCY_NAME"].ToString() + dRow["CONTRACT_NO"] + dRow["TRANSFER_DATE"] + dRow["CALL_TIME"];
                if (UniqueRecords.Contains(compareValue))
                    DuplicateRecords.Add(dRow);
                else
                    UniqueRecords.Add(compareValue);
            }

            // Remove duplicate rows from DataTable added to DuplicateRecords
            foreach (DataRow dRow in DuplicateRecords)
            {
                table.Rows.Remove(dRow);
            }

            // Return the clean DataTable which contains unique records.
            return table;
        }

数据量不大且需要比较的字段不多的时候，这个最简单，而且速度还可以。一万条记录，用两三分钟。但是一旦是十万条记录，要用半个小时。