大数据求交集和并集处理

结合网上面试的实例,下面分三种情况考虑:参考BitMap 详解算法系列-大数据面试题-两个大文件中找出共同记录

**情况一、**有40亿个无序int类型的整数,再给一个新的整数,我需要判断新的整数是否在40亿个整数中,你会怎么做?

解法一、最常规直观的解法,就是使用一个HashSet,将所有数都add进去,然后对要判断的数,执行一下contains函数判断下就ok了。
但是这个HashSet会占用多少内存呢?

40亿*4Byte=40亿*4/1024/1024/1024G=14.9G空间

这需要一个很大的内存空间来处理,那么如果只有2G的内存空间呢?

解法二、BitMap
我们申请一个Bit数组,数组的每个元素,都能表示0或者1,数组的长度为2^32。
由于一个整数占4字节,所以一个无符号整数,取值范围是0 ~ (2^32 - 1)。
因此,对于40亿整数中的任何一个数&#x

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值