海量数据对比去除重复的解决方案

海量数据对比去除重复的解决方案

最近有个北京的做邮件营销的朋友，他手里很多个几百万的数据，需要做去除重复处理。

以下是我在摸索过程中的找到的一些解决方案，供大家参考：

1：自己写程序来实现：

此功能能够实现，但涉及的技术非常繁琐，需要耗费大量时间：

1）  集合运算的基础知识

2）  多线程处理

3）  文本文件读写操作

4）  集合或数组的基本操作

然后软件调试……