海量数据的处理

海量数据相关题目

方案一

依次读取第一个文件的所有元素插入到位图a中,在把第二个文件的数据依次读入,判断是否在位图 a 中,若存在,就是交集。

方案二

读取第一个文件的所有元素插入到位图a中，读取第二个文件的所有元素到位图b中，然后两个位图相与，对应位置为1的就是两个文件的交集。

---

位图中通常是判断一个数是否在这个位图中,对应位为1,存在;对应位为0,不存在
如果要统计每个数出现的次数,则应该改变每一个数在位图中存储的位数或者使用多个位图
100亿个int相当于40个G,无法存储到内存中去,我们使用两个相同的位图a,b去计数。将文件中的数依次读取，如果a,b对应位置为00,则将对应位变为01；如果a，b对应位为01，则变为10；如果a，b对应位为10，则变为11

进行哈希切割后，A0,B0小文件的交集，A1,B1交集…即为两个大文件数据的交集