从两个文件(各含50亿个url)中找出共同的url
问题:给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url? (昨天参加安卓越 笔试,其中的最后一道解答题)解答:每个文件 50亿*64B 约为300GB大小,内存肯定是装不下了。毫无疑问还是采用分而治之的思想:1. 遍历文件a,对每个url求取hash(url)%1000,然后根据所得值将url分别存储到10
原创
2012-11-08 13:36:01 ·
6387 阅读 ·
3 评论