业务背景
现有几个文件,格式为txt/csv的行文件,里面存的是全是手机号码,目标量大约在3-5亿。文件大小在4GB左右,同一文件以及不同文件中可能会包含着重复的号码。需求是统计出所有去重号码后的数量。
解决思路
按照现在我国的手机号码规则,理论上可有存在从10000000000到19999999999的号码区间,但是实际上10/11/12号段开头的不是普通电话号码,所以不需要考虑在内,实际上的号码也就是在几亿的量级。
第一步:按照字符流挨个读取所有文件的每一行,按照手机号码开头13、14、15、16、17、18、19等分成7个文件输出到相应的文件中。
第二步:用位图的方法统计每个文件中的数量。使用JDK自带的工具包的类-java.util.BitSet。简单讲,它的工作原理就是从0-1亿的空间,每一个位可以表示有或者没有,而不是把所有的号码都存到内存中,那样虚拟机直接原地爆炸,废话不多说,直接上代码。
代码演示
import java.io.*;
import java.util.BitSet;
public class TxtUtils {
public static void main(String[] args) {
//第一步,先把号码按照开头2位数分类
//获取目标文件所在的目录
File file = new File("C:\\Users\\Administrator\\Desktop\\待去重文件所在文件夹");
File[] files = file.listFiles();
try {
//创建7个文件来存放第一次的选择
BufferedWriter bufferedWriter13 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\13.csv")));
BufferedWriter bufferedWriter14 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\14.csv")));
BufferedWriter bufferedWriter15 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\15.csv")));
BufferedWriter bufferedWriter16 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\16.csv")));
BufferedWriter bufferedWriter17 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\17.csv")));
BufferedWriter bufferedWriter18 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\18.csv")));
BufferedWriter bufferedWriter19 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\19.csv")));
if (files.length > 0) {
//循环读取每个文件的每一行内容
for (File f1 : files) {
BufferedReader bufferedReader = new BufferedReader(new FileReader(f1));
String line = "";
if ((line = bufferedReader.readLine()) != null) {
String begin = line.substring(0, 2);
switch (begin) {
case "13":
bufferedWriter13.write(line + "\n");
case "14":
bufferedWriter14.write(line + "\n");
case "15":
bufferedWriter15.write(line + "\n");
case "16":
bufferedWriter16.write(line + "\n");
case "17":
bufferedWriter17.write(line + "\n");
case "18":
bufferedWriter18.write(line + "\n");
case "19":
bufferedWriter19.write(line + "\n");
}
}
}
bufferedWriter13.flush();
bufferedWriter13.close();
bufferedWriter14.flush();
bufferedWriter14.close();
bufferedWriter15.flush();
bufferedWriter15.close();
bufferedWriter16.flush();
bufferedWriter16.close();
bufferedWriter17.flush();
bufferedWriter17.close();
bufferedWriter18.flush();
bufferedWriter18.close();
bufferedWriter19.flush();
bufferedWriter19.close();
//这样就可以把 10亿的电话原文件按照开头两位数相同的归放在相同的文件中
//在分别统计这7个文件的数量,总和就是去重后的电话号码数量。
}
} catch (IOException e) {
e.printStackTrace();
}
//第二步。获取到分类后的文件后分别统计这个文件中去重后的文件的数量
File file2 = new File("C:\\Users\\Administrator\\Desktop\\归类文件夹");
File[] files2 = file.listFiles();
Long sum = 0L;
try {
for (File f2 : files2) {
BufferedReader br = new BufferedReader(new FileReader(f2));
//创建一个1亿的位图
BitSet bitSet = new BitSet(100000000);
String line = "";
int count = 0;
if ((line = br.readLine()) != null) {
String phone = line.substring(2, 11);
//根据位图存放,目的是为了去重
if (!bitSet.get(Integer.valueOf(phone))) {
bitSet.set(Integer.valueOf(phone));
count++;
}
}
sum = sum + count;
//依次输出各个文件中去重后的电话号码的个数
System.out.println("文件" + f2.getName() + "具有不重复的号码数:" + count);
}
System.out.println("所有文件不重复号码数的和:" + sum);
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
总结后记
刚开始,我想到的方法按个读取号码,存放到一个Set中,因为set本身的特性就是不重复,但是奈何数据量太大,这样直接把虚拟机的内存爆掉,GC异常。所以在一定情况下,解决方法根据客观需求来变化,数据量很小的情况下一些方法行得通,在超大数据量的情况下,很多方法就不行了。
这还是业务上仅仅需要去重统计数量,要是给出1亿个手机号码,按照数字大小排序,有什么好的方法?