java堆只有200mb内存，如何读取10g文件并对数字去重？

本文链接：https://blog.csdn.net/apply_bomb/article/details/134761656

前期数据准备

10g文件内装的都是数字，用换行符隔开，约9亿多个数字，只有少数几个重复。

生成文件数据java程序如下，简单看一眼就行

import java.io.*;

public class SaveNumToFile {
    public static void main(String[] arts) throws Exception {
        FileOutputStream fileOutputStream = null;
        BufferedOutputStream bufferedOutputStream = null;
        try {
            // 写入10g的数据
            File file = new File("output.txt");
            fileOutputStream = new FileOutputStream(file,false);
            bufferedOutputStream = new BufferedOutputStream(fileOutputStream);
            bufferedOutputStream.write((60000001 + "\r\n").getBytes("UTF-8"));
            for (long i = 0; i < 1000000000; i++) {
                if(i % 1000000 == 0){
                    System.out.println(i);
                    if(file.length() > 1073741824L * 10 ){
                        System.out.println("10g大小了");
                        break;
                    }
                }
                bufferedOutputStream.write((i + "\r\n").getBytes("UTF-8"));
            }
            //写入两个重复的数
            bufferedOutputStream.write((50001 + "\r\n").getBytes("UTF-8"));
            bufferedOutputStream.write((900000000 + "\r\n").getBytes("UTF-8"));
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                if (bufferedOutputStream != null) {
                    bufferedOutputStream.close();
                }
                if (fileOutputStream != null) {
                    fileOutputStream.close();
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

读取文件并去重

首先限制jvm堆内存大小只有200MB

-Xms200M -Xmx200M

这里使用jdk自带的BitSet进行去重，BitSet类似于redis的bitMap，特定情况下比HashSet<Integer>节约30倍内存空间，毕竟一个bit只占用1位，一个int占用32位啊

BitSet简单通俗理解就是一个的bit数组，你可以给这个数组的指定位置赋值0或1，

至于赋值之后有啥业务含义，就看你自己的定义了。

我是这样定义的，如果这个bit数组的第N位值为1，则说明N这个数字在文件中存在。

运行如下程序，会流式读取10g文件内容，然后进行用BitSet去重

package com.example.demo;

import java.io.BufferedReader;
import java.io.FileReader;
import java.util.BitSet;

public class FindSame {



    public static void main(String[] arts) throws Exception {
        long l = System.currentTimeMillis();
        BitSet bitSet = new BitSet(1000000000);
        BufferedReader reader = new BufferedReader(new FileReader( "output.txt"));
        String line;
        while ((line = reader.readLine()) != null) {
            int num = Integer.parseInt(line);
            if( bitSet.get(num)){
                System.out.println("重复的数："+num);
            }else{
                bitSet.set(num);
            }
        }
        long l2 = System.currentTimeMillis();
        System.out.println("耗时："+(l2-l));
    }
}

运行结果和内存消耗情况

正确的找到了重复的文字

耗时约40秒

控制台输出如下

Connected to the target VM, address: '127.0.0.1:52322', transport: 'socket'
重复的数：50001
重复的数：900000000
耗时：39326
Disconnected from the target VM, address: '127.0.0.1:52322', transport: 'socket'

Process finished with exit code 0

内存消耗控制在了200MB内，

其中老年代内存占用约130MB，由于未到回收阈值(133.5MB)，所以基本没进行过老年代的垃圾回收

年轻代内存平均占用约30MB，频繁垃圾回收，每次垃圾回收可回收约99%的内存

目测bitset占用内存约120MB，流式读取文件占用内存不到20mb

具体如下图

（红框处为老年代占用内存，年轻代内存变化图和老年代内存变化图）