scrapy-splash的安装和使用

这次记录的scrapy-splash的安装和使用基本上是两种情况：一是win10比较新的版本+docker for windows；二是win10家庭版，win7（理论上win8也是）+docker toolbox

首先是win10比较新的版本+docker for windows：

前面基本是一键安装，因为docker for windows没有给你选择的地方

接着开启docker service，确认docker is running，就可以开始直接使用命令行操作

 

 镜像拉取成功，接下来安装scrapy-splash：

第一次开启scrapy-splash服务的时候会比较卡，耐心等待：

 

根据该网址下载：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

 

记centos运行scrapy-splash的一个坑问题：centos系统安装好了docker，拉取了镜像scrapinghub/splash，运行起来，却一直得不到数据，并报如下错误：

 Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.

最终解决方法是：在settings.py文件中将

 

改成

上面的url是在我的windows7上可以使用的，下面的url测试在centos系统上可以使用的，详细原因还不知道，但是确实解决了问题。=-=

 

转载于:https://www.cnblogs.com/-hjd/p/9739205.html