使用scrapy +selenium爬取动态渲染的页面

本文链接：https://blog.csdn.net/x_mm_c/article/details/121404202

本文介绍了如何使用Scrapy框架配合selenium爬取动态渲染的网页。在Scrapy中，由于动态数据无法直接抓取，通过selenium创建浏览器对象模拟用户行为可以获取到动态加载的内容。文章详细讲解了Scrapy的架构和中间件，以及selenium的驱动安装和使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值. 本文分享scrapy的介绍和如何配合selenium实现动态网页的爬取.

Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy 安装并运行

安装通过pip install Scrapy 安装即可, Ubuntu安装需要安装依赖sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zliblg-dev libffi-dev libssl-dev
创建项目: scrapy startproject project_name
创建爬虫: 进入项目根目录 scrapy genspider spider_name sprder_domian
目录介绍

    project_folder -- 项目文件夹名称
    |
    |──project_name -- 该项目的python模块，一般和项目文件夹名称相同
    |  |
    |  |──spider -- 放置spider代码的包，以后所有的爬虫，都存放在这个里面
    |  |
    |  |──items.py -- 用来存放爬虫怕写来的数据的模型
    |  |
    |  |──middlewares.py -- 用来存放各种中间件的文件
    |  |
    |  |──pipelines.py -- 用来对items里面提取的数据做进一步处理，如保存到本地磁盘等
    |  |
    |  |──settings.py -- 本爬虫的一些配置信息(如请求头、多久发送一次请求、ip代理池