结果:去重200万手机号码大概10秒钟,30万手机号码大概2秒钟
号码首先格式是一行一个号码,如果直接进行比较去重,慢不说而且很耗费内存,使用BitSet位图进行去重就简单方便得多,主要是耗费内存比较小而且快,首先初始化一个300万位数的BitSet,他是将手机号码的作为一个int值放在相对应的位置上且标记已存在,如果下一次再放一个同样的手机号码到该位置就提示已存在了,这样就不会有重复,既然BitSet该手机号码在该位置不会重复的话,我们将不重复的手机号码同时写出到文件,但是假如手机号码17xxxxxxxxx,BitSet中存放的int,最大也存不了11位手机号,这样我们可以通过提前判断,将中国的手机号码分开存在不同的文件中13、14、15、16、17、18、19应该也就这些个文件中,再逐一从这几个文件放到BitSet中,不重复的写到一个汇总文件,重复的也放一个BitSet写到重复文件(还可以弄一个错误号码文件)这样就可以拿到最终去重之后的文件了
以下是代码部分(循环写300万个手机号码进去注意区分写13、14、15、16、17、18。。。然后直接main运行测试即可,代码中的位置是mac根路径,windows用盘符根路径)
import java.io.*;
import java.util.BitSet;
public class RepeatNumberUtils {
public static void main(String[] args) throws Exception {
//第一步,先把号码按照开头2位数分类
//获取目标文件所在的目录
File file = new File("/Users/fanghuaiming/services/all_2370000.txt");
long l = System.currentTimeMillis();
//创建文件
File file13 = new File("/Users/fanghuaiming/services/31/" + l + "_13.txt");
File file14 = new File("/Users/fanghuaiming/services/31/" + l + "_14.txt");
File file15 = new File("/Users/fanghuaiming/services/31/" + l + "_15.txt");
File file16 = new File("/Users/fanghuaiming/services/31/" + l + "_16.txt");
File file17 = new File("/Users/fanghuaiming/services/31/" + l + "_17.txt");
File file18 = new File("/Users/fanghuaiming/services/31/" + l + "_18.txt");
File file19 = new File("/Users/fanghuaiming/services/31/" + l + "_19.txt");
try {
file13.createNewFile();
file14.createNewFile();
file15.createNewFile();
file16.createNewFile();
file17.createNewFile();
file18.createNewFile();
file19.createNewFile();
} catch (IOException e) {
e.printStackTrace();
}
try {
//创建7个文件来存放第一次的选择
BufferedWriter bufferedWriter13 = new BufferedWriter(new FileWriter(file13));
BufferedWriter bufferedWriter14 = new BufferedWriter(new FileWriter(file14));
BufferedWriter bufferedWriter15 = new BufferedWriter(new FileWriter(file15));
BufferedWriter bufferedWriter16 = new BufferedWriter(new FileWriter(file16));
BufferedWriter bufferedWriter17 = new BufferedWriter(new FileWriter(file17));
BufferedWriter bufferedWriter18 = new BufferedWriter(new FileWriter(file18));
BufferedWriter bufferedWriter19 = new BufferedWriter(new FileWriter(file19));
//循环读取每个文件的每一行内容 也可以使用NIO一次读取整个文件的行
BufferedReader bufferedReader = new BufferedReader(new FileReader(file));
String line = "";