1.使用数据库建立关键字段(一个或多个)建立索引进行去重
2.根据url地址进行去重
2.1 url地址对应的数据不会变的情况,url地址能够唯一判别一个条数据的情况
2.2 url存在redis中
2.3 拿到url地址,判断url在redis的url的集合中是否存在
2.4 存在,说明url已经被请求过,不再请求;不存在,url地址没有被请求过,请求,把该url存入redis的集合中
3.布隆过滤器
3.1 使用多个加密算法加密url地址,得到多个值
3.2 往对应值的位置把结果设置为1
3.3 新来一个url地址,一样通过加密算法生成多个值
3.4 如果对应位置的值全为1,说明这个url
爬虫数据去重,实现增量式爬虫
最新推荐文章于 2021-01-27 20:41:29 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)