5、web爬虫，scrapy模块,解决重复ur——自动递归url

最新推荐文章于 2023-12-04 20:24:53 发布

程序员老K

最新推荐文章于 2023-12-04 20:24:53 发布

阅读量305

点赞数

文章标签： Python web爬虫数据挖掘爬虫 web开发

本文链接：https://blog.csdn.net/KK12345677/article/details/99312063

版权

本文介绍了如何在使用Scrapy进行web爬虫时避免重复抓取URL，通过将URL存储在数据库并进行加密索引，以及设置递归深度限制来实现。同时，分享了Python学习资源和交流群信息。

摘要由CSDN通过智能技术生成

一般抓取过的url不重复抓取，那么就需要记录url，判断当前URL如果在记录里说明已经抓取过了，如果不存在说明没抓取过

记录url可以是缓存，或者数据库，如果保存数据库按照以下方式：

id　　 URL加密(建索引以便查询) 　　原始URL

保存URL表里应该至少有以上3个字段
1、URL加密(建索引以便查询)字段：用来查询这样速度快，
2、原始URL，用来给加密url做对比，防止加密不同的URL出现同样的加密值

自动递归url

# -*- coding: utf-8 -*-
import scrapy       #导入爬虫模块
from scrapy.selector import HtmlXPathSelector  #导入HtmlXPathSelector模块
from scrapy.selector import Selector

class AdcSpider(scrapy.Spider):
    name = 'adc'                                        #设置爬虫名称
    allowed_domains = ['hao.360.cn']
    start_urls = ['https://hao.360.cn/']

    def parse(self, response):

        #这里做页面的各种获取以及处理

        #递归查找url循环执行
        hq_url = Selector(response=response).xpath('//a/@href')   #查找到当前页面的所有a标签的href，也就是url
        for url in hq_url:                                        #循环url