40亿个QQ号，限制1G内存，如何去重？

使用位图实现10位数字QQ号去重

在处理大规模数据时，特别是对于10位数字的QQ号去重，我们常常面临存储空间不足的问题。例如，假设我们需要去重的QQ号总数达到40亿个unsigned int。如果直接将这些号码存储在内存中，所需的空间将会非常庞大：

考虑到数据中存在重复，1GB的空间显然是不够用的。为了解决这个问题，我们可以借助位图（Bitmap）技术。

位图的基本原理

位图是一种以位（bit）为单位来表示数据的结构，能有效地节省存储空间。在位图中，每个数字只需要占用1个bit。对于40亿个数字，所需的存储空间可以通过以下公式计算：

相较于之前的14.9GB，这样的方案极大地节省了存储空间。

如何实现去重

以QQ号"907607222"为例，我们可以按照以下步骤将其放入位图中：

1. 确定位置：找到对应的位图位置。对于QQ号"907607222"，我们将其作为索引907607222。
2. 设置位：将该位置设置为1，表示该QQ号存在。

通过这种方式，将所有QQ号放入位图后，所有值为1的位置表示存在，不为1的位置表示不存在。对于相同的QQ号，只需设置一次1，因此可以有效地完成去重。

遍历位图

完成去重后，我们可以遍历位图，将所有值为1的索引提取出来，便得到了去重后的QQ号列表。

通过使用位图技术，我们可以在大规模数据处理时大幅度节省内存空间，并有效地实现10位数字QQ号的去重。该方法不仅高效，且简单易懂，非常适合在实际应用中推广。