大量URL去重

[size=medium]问题：
[i]有大量的字符串格式的URL，如何从中去除重复的，优化时间空间复杂度[/i]

我的思路，

1. 将URL存入hash链表，[b]每个URL读入到hash链表中[/b]，遇到重复的就舍弃，否则加入到链表里面，最后遍历得到所有不重复的URL。空间复杂度M，时间复杂度为O(N+N/M)，M为不重复的URL，N为总URL数，但是M无法预测，所以存在风险，可能内存不足以存储所有的不重复URL。

2. 为了解决内存可能不足的问题，需要把hash链表变化成普通的hash表，[b]每个hash表元素指向一个文件文件[/b]，这个文件记录了所有该hash值对应的无重复的URL，那么在加入URL的时候就遍历对应文件中的URL，没有重复则加入到文件中。这样做时间复杂度没有提升，但是每次都要读写文件，消耗的时间应该是上一种方式的三倍，而对内存的要求比较小。一个改进是[b]加入URL的时候进行排序[/b]，这样能减少比对的次数。

欢迎讨论和拍砖！！[/size]