Scrapy-Splash是一个Scrapy中支持Javascript渲染的工具。
Scrapy-Splash的安装分为两个部分,一个是Splash服务的安装,通过Docker,安装后会启动Splash的服务,我们可以通过他的接口来实现JavaScript页面的加载,另一个是Scrapy-Splash的python库的安装,安装之后可在Scrapy中使用Splash。
-
Docker的安装
到Docker官网下载相应的版本,docker桌面版暂且支持Windows10专业版 企业版 教育版
其他版本的安装参考以下教程
利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/
安装比较简单,双击运行,点下一步即可,可以勾选自己需要的组件:
docker toolbox 是一个工具集,它主要包含以下一些内容:
- Docker CLI - 客户端,用来运行 docker 引擎创建镜像和容器。
- Docker Machine - 可以让你在 Windows 的命令行中运行 docker 引擎命令。
- D