爬虫去重策略

爬虫去重策略：
1.将访问过的url保存到数据库中
2.将访问过的URL保存到set中，查询方便，但是耗费内存
1亿条url*2byte（字节）*50个字符/1024(KB)/1024(MB)/1024=9G
3.经过md5（128bit=16byte）等方法哈希后保存到set中(Scrapy就是用的类似这种方式)
4.用bitmap方法，将访问过的url通过hash函数映射到某一位（容易将多个不同url放到同一个位置）
5.bloomfilter方法对bitmap进行改进，多重hash函数降低冲突（分布式p爬虫方式）
一个位置1bit 一亿个url=1亿bit=1亿/8 byte/1024KB/1024MB=11.92MB(理想状态的占用内存，实际会大一点)