最近做了个小程序,其中有个功能是去掉数组中的重复数据,开始没有考虑数组数量的问题,使用了一般的算法。但后面别人和我说5W条数据等了10分钟还没有成功,汗。。。
(刚才写这篇文章,浏览器突然自动刷新了,郁闷呀,写的一点都没有了,都没自动保存草稿,纠结)
后面用了别一种算法,基本上20S内可以完成了。
测试数据1万条
第一种算法(4分钟)
/// <summary>
/// List泛型去重
/// </summary>
/// <param name="list">由一维数组组成的泛型</param>
/// <param name="ItemID">要去除重复的项</param>
private void RemoveRepeaterUrl(ref List<string[]> list,int ItemID)
{
for (int i = 0; i < list.Count; i++)
{
for (int j = (i + 1); j < list.Count; j++)
{
if (list[j][ItemID] == list[i][ItemID])
{
list.RemoveAt(j);//去除相同的项
i = 0;//从新开始去重,如果数组内有大量重复的项,仅一次去重不能解决问题。这样的用法会使效率慢1/3
j = 0;
}
}
}
}
第二种算法(4S)
//去除重复的数据, 返回list
//利用类库中的hashtable类的containsKeys方法判断hashtable中是否存在这个数据,要是不存在就
//把数据添加到新的List中,最后清空hashtable
public List<string> getUnque(List<string> list)
{
List<string> list1 = new List<string>();
Hashtable hash = new Hashtable();
foreach (string stu in list)
{
string[] kk1 = stu.Split(new string[] { "--" }, StringSplitOptions.RemoveEmptyEntries);
string comword = kk1.Length==3 ? kk1[2]:"";
if (!hash.ContainsKey(comword))
{
hash.Add(comword, comword);
list1.Add(stu);
}
}
hash.Clear();
hash = null;
return list1;
}