2020-12-07

《精通Python爬虫框架Scrapy》Windows环境搭建+报错问题记录并解决

参考：http://www.mamicode.com/info-detail-2866515.html

1. 以照参考链接中给出的步骤下载安装相关软件，下载scrapybook.box并添加到vagrant中。
2. vagrant up --no--parallel时报错------Vagrant cannot forward the specified ports on this VM, since they would collide with some other application that is already listening on these ports. The forwarded port to 9312 is already in use on the host machine.
3. 观看github上原作者的视频后及查找资料后。根据报错信息提示，初步怀疑Vagrantfile文件中开头用到了Vagrantfile.dockerhost。作者给出的配置中Vagrantfile中每个容器要进行端口映射，Vagrantfile.dockerhost文件中也进行端口映射。这两次映射本来不应该冲突，可能由于win10系统上vagrant、virtualbox、docker之间的一些配合问题才导致报这个错，该错误可能跟笔者的软件环境有关。经过分析，决定先删除Vagrantfile.dockerhost中的端口映射部分，最后再手动为虚拟机docker-provider设置端口转发。如图示：

   

   

    原书作者构建的系统物理架构其实是两层：首先在真实的windows物理机上产生一个docker-prvider虚拟机，将该虚拟机作为docker容器的统一化的linux环境，该虚拟机上有docker环境。然后再用此虚拟机作为书中web、spark、redis等docker容器的host VM（宿主机），将每个容器部署到虚拟机的docker环境中。其中vagrantfile.host中的端口转发作用于host VM与我们的物理主机，vagrantfile中的端口转发作用于每个docker容器与host VM。具体图示后续补充。

    

4. 在virtualbox中对docker-provider（host VM）手动进行虚拟机和我们真实主机之间的端口转发。如图：

   

    

5. 在本地主机浏览器中输入“http://127.0.0.1:9312/properties/index_00000.html”，成功访问到虚拟机中的docker容器中web容器的网页。