27.Docker集群部署

27.Docker集群部署

对于scrapy的部署方式

1.Scrapyd 安装扩展组件，远程控制scrapy任务，包括部署源代码，启动任务，监听任务。scrapy-client 、scrapyd api 协助完成部署和监听操作。

2.Docker集群部署，将爬虫制作成Docker镜像，主机安装Docker，直接运行爬虫，无需考虑配置环境，版本问题。

简述Docker的作用：

Docker 是一种容器技术，可将应用和环境打包，形成一个独立的app形式的应用。此应用可以直接被分发到任意一个支持docker的环境中，通过简单的命令即可运行。

优点：使用docker可以让每个应用彼此隔离，在同一台机器上同时运行多个应用，不过它们彼此之间共享同一个操作系统。
     可以在更细的微粒上进行资源管理，也比虚拟化技术更节省资源。（大量部署爬虫系统，使用docker会大大提高效率）

 

posted on 2018-09-18 10:12 五杀摇滚小拉夫 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/lvjing/p/9667381.html