scrapy网页跳转后进行数据爬取

最新推荐文章于 2023-08-02 15:59:29 发布

s0i1

最新推荐文章于 2023-08-02 15:59:29 发布

阅读量4.6k

点赞数

分类专栏： python 文章标签： scrapy 网页跳转

本文链接：https://blog.csdn.net/changer_WE/article/details/84556184

版权

本文介绍如何使用Scrapy框架处理网页跳转。通过在parse方法中获取href，然后发送Request请求新页面内容，递归调用Request进行多层跳转，直至达到目标数据页面进行数据爬取。对于含有n层href的情况，需相应调用n次Request。

摘要由CSDN通过智能技术生成

因为一开始的网站爬取的是一个href，所以需要去跳转一下，即发一个Request

<a href="https://XXX.com.cn/w/2018-11-24/doc-ihpevhck4340972.html">你好</a>

以下是自己的代码：

def parse(self, response):
    href_set = []
    list = response.xpath("//div[@style='display:none;']//li/a/@href").extract()    #获取href
    for i in range(0, 50, 1):   # 留下前50条数据
        href_set.append(list[i])
    for href in href_set:
        yield scrapy.Request(url=href, callback=self.new_parse)
        #就是这个Request请求了一个新的url，完成之后回调new_parse函数，进一步处理

def new_parse(self, response):
    myitem = TutorialItem()
    myitem['article_title'] = response.xpath("//h1[@class='main-title']/text()").extract()
    myitem['article_content'] = response.xpath("//div[@class='a