使用scrapy +selenium爬取动态渲染的页面

背景

在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据，则必须使用selenium创建浏览器对象，然后通过该浏览器对象进行请求发送，获取动态加载的数据值. 本文分享scrapy的介绍和如何配合selenium实现动态网页的爬取.

Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy 安装并运行

1. 安装 通过pip install Scrapy 安装即可, Ubuntu安装需要安装依赖sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zliblg-dev libffi-dev libssl-dev
2. 创建项目: scrapy startproject project_name
3. 创建爬虫: 进入项目根目录 scrapy genspider spider_name sprder_domian
4. 目录介绍

    project_folder -- 项目文件夹名称
    |
    |──project_name -- 该项目的python模块，一般和项目文件夹名称相同
    |  |
    |  |──spider -- 放置spider代码的包，以后所有的爬虫，都存放在这个里面
    |  |
    |  |──items.py -- 用来存放爬虫怕写来的数据的模型
    |  |
    |  |──middlewares.py -- 用来存放各种中间件的文件
    |  |
    |  |──pipelines.py -- 用来对items里面提取的数据做进一步处理，如保存到本地磁盘等
    |  |
    |  |──settings.py -- 本爬虫的一些配置信息(如请求头、多久发送一次请求、ip代理池等)
    |
    |──scrapy.cfg -- 项目的配置文件

Scrapy 框架模块

1. Scrapy Engine ： Scrapy框架的核心，负责在Spider和Item Pipeline、Downloader、Scheduler中间通信、传输数据等。
2. Spider ： 发送需要爬取的链接给引擎，最后引擎把其