scrapy结合selenium爬取动态网站(以淘宝为例)

最新推荐文章于 2024-09-29 14:23:10 发布

阳光总在风雨后15038799390

最新推荐文章于 2024-09-29 14:23:10 发布

阅读量1.5k

点赞数 1

本文链接：https://blog.csdn.net/qq_38661599/article/details/81009710

版权

本文介绍了如何使用Scrapy框架配合Selenium处理动态网页。在Scrapy中，通过自定义中间件利用Selenium执行JavaScript渲染页面，获取动态加载的数据。这种方法避免了直接使用Scrapy下载器请求动态URL，而是由Selenium获取页面源码，然后以response形式返回，继续后续的爬取流程。

摘要由CSDN通过智能技术生成

1.引导

scrapy框架只能爬取静态网站。如需爬取动态网站，需要结合着selenium进行js的渲染，才能获取到动态加载的数据。
那么如何通过selenium请求url，而不再通过下载器downloader去请求这个url?

方法：在request对象通过中间件的时候，在中间件内部开始使用selenium去请求url，并且会得到url对应的源码，然后再将源代码通过response对象返回，直接交给process_response()进行处理，再交给引擎。过程中相当于后续中间件的process_request()以及downloader都跳过了。

2.主要代码如下

taobao.py


import scrapy
from selenium import webdriver
from selenium.webdriver import FirefoxOptions


class TaobaoSpider(scrapy.Spider):
    name = 'taobao'
    allowed_domains = ['taobao.com']
    start_urls = ['https://s.taobao.com/search?q=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&imgfile=&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=a21bo.2017.201856-taobao-item.1&ie=utf8&initiative_id=tbindexz_2017030