Scrapy利用Splash抓取动态页面

之前的例子，我爬取的都是些静态页面中的信息，爬取容易。但是目前大多数网站都是动态的，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难。

动态网页一般两种思路 ，一是找到api接口伪装请求直接请求数据，另一种是没有办法模拟的时候需要渲染环境。

这里我使用了第二种方法

---

Splash是Scrapy官方推荐的JavaScript渲染引擎，它是使用Webkit开发的轻量级无界面浏览器，提供基于HTTP接口的JavaScript渲染服务，支持以下功能：

• 为用户返回经过渲染的HTML页面或页面截图
• 并发渲染多个页面
• 关闭图片加载，加速渲染
• 在页面中执行用户自定义的JavaScript代码
• 执行用户自定义的渲染脚本（lua），功能类似于PhantomJS

如何使用Splash:

1. splash使用的是Splash HTTP API，所以需要一个Splash Instance,一般采用docker运行splash，所以需要安装docker

   sudo apt-get install docker
   

2. 拉取镜像

   sudo docker pull scrapinghub/splash
   

3. 在本机的8050和8051端口开启Splash服务

   docker run -p 8050:8050 -p 8051:8051 scrapinghub/splash
   

4. 安装scrapy-splash

   pip in