Scrapy-Splash的安装和使用

Scrapy-Splash是一个Scrapy中支持JavaScript渲染的工具。

Scrapy-Splash的安装分为两部分。一个是Splash服务的安装，具体是通过Docker，安装之后，会启动一个Splash服务，我们可以通过它的接口来实现JavaScript页面的加载。另外一个是Scrapy-Splash的Python库的安装，安装之后即可在Scrapy中使用Splash服务。
GitHub：https://github.com/scrapy-plugins/scrapy-splash
PyPI：https://pypi.python.org/pypi/scrapy-splash
使用说明：https://github.com/scrapy-plugins/scrapy-splash#configuration
Splash官方文档：http://splash.readthedocs.io

一、安装Splash
Scrapy-Splash会使用Splash的HTTP API进行页面渲染，所以我们需要安装Splash来提供渲染服务。这里通过Docker安装，在这之前请确保已经正确安装好了Docker。
docker run -d -p 8050:8050 scrapinghub/splash

记得打开防火墙
我们打开http://IP:8050，即可看到Splash的主页

Scrapy-Splash的安装

成功安装Splash之后，接下来安装其Python库，命令如下：

pip3 install scrapy-splash

转载于:https://www.cnblogs.com/xuyingzhong/p/9345806.html