用Java代码对5亿手机号码去重得出不重复的个数

业务背景

现有几个文件，格式为txt/csv的行文件，里面存的是全是手机号码，目标量大约在3-5亿。文件大小在4GB左右，同一文件以及不同文件中可能会包含着重复的号码。需求是统计出所有去重号码后的数量。

解决思路

按照现在我国的手机号码规则，理论上可有存在从10000000000到19999999999的号码区间，但是实际上10/11/12号段开头的不是普通电话号码，所以不需要考虑在内，实际上的号码也就是在几亿的量级。
第一步：按照字符流挨个读取所有文件的每一行，按照手机号码开头13、14、15、16、17、18、19等分成7个文件输出到相应的文件中。
第二步：用位图的方法统计每个文件中的数量。使用JDK自带的工具包的类-java.util.BitSet。简单讲，它的工作原理就是从0-1亿的空间，每一个位可以表示有或者没有，而不是把所有的号码都存到内存中，那样虚拟机直接原地爆炸，废话不多说，直接上代码。

代码演示

import java.io.*;
import java.util.BitSet;

public class TxtUtils {
    public static void main(String[] args) {
        //第一步，先把号码按照开头2位数分类
        //获取目标文件所在的目录
        File file = new File("C:\\Users\\Administrator\\Desktop\\待去重文件所在文件夹");
        File[] files = file.listFiles();
        try {
            //创建7个文件来存放第一次的选择
            BufferedWriter bufferedWriter13 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\13.csv")));
            BufferedWriter bufferedWriter14 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\14.csv")));
            BufferedWriter bufferedWriter15 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\15.csv")));
            BufferedWriter bufferedWriter16 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\16.csv")));
            BufferedWriter bufferedWriter17 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\17.csv")));
            BufferedWriter bufferedWriter18 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\18.csv")));
            BufferedWriter bufferedWriter19 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\19.csv")));
            
            if (files.length > 0) {
                //循环读取每个文件的每一行内容
                for (File f1 : files) {

                    BufferedReader bufferedReader = new BufferedReader(new FileReader(f1));
                    String line = "";
                    if ((line = bufferedReader.readLine()) != null) {
                        String begin = line.substring(0, 2);
                        switch (begin) {
                            case "13":
                                bufferedWriter13.write(line + "\n");
                            case "14":
                                bufferedWriter14.write(line + "\n");
                            case "15":
                                bufferedWriter15.write(line + "\n");
                            case "16":
                                bufferedWriter16.write(line + "\n");
                            case "17":
                                bufferedWriter17.write(line + "\n");
                            case "18":
                                bufferedWriter18.write(line + "\n");
                            case "19":
                                bufferedWriter19.write(line + "\n");
                        }
                    }
                }
                bufferedWriter13.flush();
                bufferedWriter13.close();
                bufferedWriter14.flush();
                bufferedWriter14.close();
                bufferedWriter15.flush();
                bufferedWriter15.close();
                bufferedWriter16.flush();
                bufferedWriter16.close();
                bufferedWriter17.flush();
                bufferedWriter17.close();
                bufferedWriter18.flush();
                bufferedWriter18.close();
                bufferedWriter19.flush();
                bufferedWriter19.close();
                //这样就可以把 10亿的电话原文件按照开头两位数相同的归放在相同的文件中
                //在分别统计这7个文件的数量，总和就是去重后的电话号码数量。
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        //第二步。获取到分类后的文件后分别统计这个文件中去重后的文件的数量
        File file2 = new File("C:\\Users\\Administrator\\Desktop\\归类文件夹");
        File[] files2 = file.listFiles();
        Long sum = 0L;
        try {
            for (File f2 : files2) {
                BufferedReader br = new BufferedReader(new FileReader(f2));
                //创建一个1亿的位图
                BitSet bitSet = new BitSet(100000000);
                String line = "";
                int count = 0;
                if ((line = br.readLine()) != null) {
                    String phone = line.substring(2, 11);
                    //根据位图存放，目的是为了去重
                    if (!bitSet.get(Integer.valueOf(phone))) {
                        bitSet.set(Integer.valueOf(phone));
                        count++;
                    }
                }
                sum = sum + count;
                //依次输出各个文件中去重后的电话号码的个数
                System.out.println("文件" + f2.getName() + "具有不重复的号码数:" + count);
            }
            System.out.println("所有文件不重复号码数的和:" + sum);
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

总结后记

刚开始，我想到的方法按个读取号码，存放到一个Set中，因为set本身的特性就是不重复，但是奈何数据量太大，这样直接把虚拟机的内存爆掉，GC异常。所以在一定情况下，解决方法根据客观需求来变化，数据量很小的情况下一些方法行得通，在超大数据量的情况下，很多方法就不行了。

这还是业务上仅仅需要去重统计数量，要是给出1亿个手机号码，按照数字大小排序，有什么好的方法？