python爬虫之URL去重策略

1、 将访问过的 URL 保存到数据库中
缺点： 效率低
2、 将访问过的 URL 保存到 set 中
优点： 只需要 o(1)的代价就可以查询 URL
缺点：对内存要求高。若有 1 亿网页，则占用内存为：1000000000*2byte*50 个字符/1024/1024/1024
= 9G
3、 URL 经过 md5 等方法哈希后保存到 set 中
优点： 可以成倍降低内存占用， Scrapy 使用的这种方法
4、 用 bitmap 或者 bloomfilter 方法，将访问过的 URL 通过 hash 函数映射到某一位
bitmap 方法优点： 一亿 URL 占用约 12M
bitmap 方法： 去重没那么精准，存在冲突。
bloomfilter 优点： 对 bitmap 进行改进，多重 hash 函数降低冲突