海量数据处理面试题与Bit-map详解

海量数据面试题目解析：



1、A,B两个文件各存放50亿条URL，每条URL占用64字节，内存限制4G，找出A,B文件共同的URL
  答：方案一、50亿条数据，每条64字节。文件大小等于50G*64=320G，远大于内存限制的4G，不能将其完全加载到内存中，考虑分而治之的方法：
              1、分而治之/hash映射：遍历文件A，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000个小文件中(a0,a1,...a999)，每个文件大小约300M
              2、遍历文件B，对每个url采取和A相同的方式分别存储到1000个小文件中(b0,b1,...b999)，这样处理后，所有可能相同的url都在对应的小文件(a0 vs b0,a1 vs b1,...,a999 vs b999)中，不对应的小文件不可能有相同的url。然后求出1000对小文件中相同的url即可
              3、hash_set统计：求每对小文件中相同的url时，可以把其中一个小文件的url存储到hash_set中，然后遍历另一个小文件的每个url，看其是否在刚才构建的hash_set中，如果是，那么就是共同的url，存到文件中就可以了