之前的例子,我爬取的都是些静态页面中的信息,爬取容易。但是目前大多数网站都是动态的,动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的,爬取相对困难。
动态网页一般两种思路 ,一是找到api接口伪装请求直接请求数据,另一种是没有办法模拟的时候需要渲染环境。
这里我使用了第二种方法
Splash是Scrapy官方推荐的JavaScript渲染引擎,它是使用Webkit开发的轻量级无界面浏览器,提供基于HTTP接口的JavaScript渲染服务,支持以下功能:
- 为用户返回经过渲染的HTML页面或页面截图
- 并发渲染多个页面
- 关闭图片加载,加速渲染
- 在页面中执行用户自定义的JavaScript代码
- 执行用户自定义的渲染脚本(lua),功能类似于PhantomJS
如何使用Splash:
splash使用的是Splash HTTP API,所以需要一个Splash Instance,一般采用docker运行splash,所以需要安装docker
sudo apt-get install docker
拉取镜像
sudo docker pull scrapinghub/splash
在本机的8050和8051端口开启Splash服务
docker run -p 8050:8050 -p 8051:8051 scrapinghub/splash
安装scrapy-splash
pip in