scrapy爬虫之使用中间件处理iframe问题

最新推荐文章于 2024-06-21 20:58:00 发布

py风之老凌

最新推荐文章于 2024-06-21 20:58:00 发布

阅读量1.2k

点赞数

分类专栏： python之scrapy框架爬虫文章标签：中间件 selenium python

本文链接：https://blog.csdn.net/fengzhilaoling/article/details/107408052

版权

本文介绍如何利用Scrapy的下载中间件结合Selenium解决无法爬取iframe内容的问题，通过Selenium来请求含有iframe的网址，详细代码可在码云的nanjin_files项目中查看。

摘要由CSDN通过智能技术生成

使用下载中间件实现selenium来请求网址

使用selenium的方式是为了解决，scrapy无法爬取到iframe方式嵌套的代码(iframe内联方式是常用的web开发框架之一)

#中间件python文件
from scrapy import signals
from scrapy.http import HtmlResponse
class NanjinFilesDownloaderMiddleware:

    def process_request(self, request, spider):
        if spider.name == 'getfile':
            spider.bro.get(request.url)   #使用浏览器访问爬取网址
            iframe = spider