爬虫---去重策略

python爬虫去重策略：

1.将访问过的URL保存到数据库中，效率低，查询和插入数据库，

2.将访问过的URL保存到set中，查询快，内存占用高

3.URL经过md5等方法哈希后保存到set中，降低内存占用，scrapy使用此方法

4.用bitmap或者bloomfilter方法，将访问过的URL通过hash函数映射到某一位

     bitmap：内存占用少，去重没那么精准，存在冲突，

     bloomfilter：改进，多重hash函数降低冲突

 

上一家公司团队情况：

主要做什么：

最近爬的项目：

800万条数据卖多少钱：

pc端和移动端：

技术方案：

scrapyd 服务部署爬虫项目
工作原理
Scrapyd 是一个部署和运行 Scrapy 爬虫的应用程序。它能够通过 JSON API 部署（上传）
工程，并且控制工程中爬虫地启动、停止、暂停，修改

 

软通动力技术有限公司