代码实现【mini版】——给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url?

最新推荐文章于 2023-01-02 21:27:42 发布

乔治大哥

最新推荐文章于 2023-01-02 21:27:42 发布

阅读量3k

点赞数 6

分类专栏： Linux # 大数据文章标签：代码实现【mini版】给定a、b两个文件，各存放50亿个url，每个url各占64

本文链接：https://blog.csdn.net/qq_41946557/article/details/102711573

版权

本文介绍了一种在内存限制为4GB的情况下，处理两个各含有50亿个64字节URL的文件，找出它们交集的方法。通过哈希函数将URL取模并存储到5个小文件中，然后对比两个文件的对应部分，在Python中使用set集合进行高效检查，最终输出交集URL。这种方法适合初学者理解，但还有优化空间。

摘要由CSDN通过智能技术生成

根据https://blog.csdn.net/qq_41946557/article/details/102708186思想去写！！！

将文件中的信息当成我们文本中的每行文件，然后两个文件中分别是100条信息，然后进行读取 hash(url) %5

首先准备两个文件：xxoo.txt ooxx.txt

取模并且存储到5个小文件中。代码清晰易懂。适合初学。

package com.henu;

import java.io.*;
/**
 * @author George
 * @description    大文件拆分小文件
 * 将文件中的信息当成我们文本中的每行文件，然后两个文件中分别是100条信息，然后进行读取  hash(url) %5
 **/
public class HashClass {
    public static void main(String[] args) throws IOException {
        //读取第一个文件     ooxx
        BufferedReader obr = new BufferedReader(new FileReader("d://ooxx.txt"));
        BufferedWriter obw1 = new BufferedWriter(new FileWrite