面试--超大文件取交集

问题:现有两个各有20亿行的文件,每一行都只有一个数字,求这两个文件的交集。 

解决:

采用bitset进行问题解决

因为int的最大数是2^32 - 1 == 约43亿,用一个二进制的下标来表示一个int值,大概需要43亿个bit位,即约43亿/8 = 5.4亿Byte,即约540M的内存。这可以解决问题了。

1.首先遍历文件,将每个文件按照数字的正数,负数标记到2个BitSet上为:正数BitSetA_positive,负数BitSetA_negative

2.遍历另为一个文件,生成正数:BitSetB_positive ,BitSetB_negative

3.取BitSetA_positive and BitSetB_positive 得到2个文件的正数的交集,同理得到负数的交集。

4.合并,问题解决。


这里一次只能解决全正数,或全负数,所以要分两次。
阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页