如何实现网页爬虫中的网址链接去重功能

一般在爬取网页的时候，会出现大量重复的数据，这个时候我们一般都会选择用map来进行去重的功能，今天介绍一个新的进行去重的数据结构，位图。

如果我们要在1000万个范围在1到1亿的数据中去查询是否包含某个值，那么使用map是可以的，但是会浪费很多的空间，我们可以这样做。

申请一块大小为1亿的大小的数组，值为bool，我们将所有的数据都放到数组中，只要有数的，就为true，这样查找只需要我们查询这个值在数组中是否为true。

当然这样有点浪费空间，我们还可以进行优化，我们可以用bit位来表示是否存在，bit包含0，1，而且一个数组的bool空间可以化为多个bit，这样就可以减少更多的空间了，比如一个数组的空间为4个bit，一个长度为16的位图，要查询53的话，我们先用53/16为3，我们就知道它在a[3]这个位置上，取余为5，那就代表在a[3]的第5个bit上。这样就达到了查询是否存在的效果。

当然位图是有局限的，我们在实际的开发中，可以直接去选择布隆过滤器来进行去重的工作，这个就需要大家自己去了解它了，但是底层的思想都是一样的，只不过是它的哈希算法不一样。