不重复ip问题

最新推荐文章于 2024-01-12 17:28:16 发布

wanhf11

最新推荐文章于 2024-01-12 17:28:16 发布

阅读量811

点赞数

分类专栏：算法基础

本文链接：https://blog.csdn.net/qq_17612199/article/details/51767425

版权

针对一个1G大小的IP地址文件，提出了多种去除重复IP的方案：包括一次性加载到内存、分批使用mmap、逐行读取；去重方法涉及使用集合set、分批hash、MapReduce、布隆过滤器和字典树等技术。

摘要由CSDN通过智能技术生成

问题：

有一个文本文件，1G大小，每一行是IP地址，有重复的IP，要求快速的删除重复IP，将不重复的IP写到一个新文件中。

回答：

读取文件：
1. 读入整个文件（Java 标准读入方式）【前提：内存足够大】
2. 分批次读入文件（mmap）

        File file = new File(PATH);
        RandomAccessFile randomAccessFile = new RandomAccessFile(PATH, "r");
        MappedByteBuffer buff = null;
        long file_size = file.length();
        long rows = file_size / num;
        int total = num + (file_size % num == 0 ? 0