【源码+文档】分布式爬虫系统MI之Python

分布式底层框架（zookeeper+mesos+marathon+docker）

介绍

• ZooKeeper：ZooKeeper 是一个开源的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。
• Mesos：Mesos 是 Apache 下的开源分布式资源管理框架，它被称为是分布式系统的内核。Mesos 能够在集群机器上运行多种分布式系统类型，动态有效率地共享资源。提供失败侦测，任务发布，任务跟踪，任务监控，低层次资源管理和细粒度的资源共享，可以扩展伸缩到数千个节点。
• Marathon：Marathon 是一个成熟的，轻量级的，扩展性很强的 Apache Mesos 的容器编排框架，能够支持运行长服务，比如 Web 应用等。能够在集群中原样运行任何 Linux 二进制发布版本，进行集群的多进程管理。在本系统中，Marathon 主要负责调度 docker 容器。
• Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。它彻底释放了计算虚拟化的威力，极大提高了应用的运行效率，降低了云计算资源供应的成本，使用 Docker，可以让应用的部署、测试和分发都变得前所未有的高效和轻松

设计

利用 Docker，快速地配置环境、数据库服务、部署项目。

项目中使用了如下三类镜像：

1. 基础镜像与服务镜像

• daocloud.io/library/python:2.7.7
• redis:3.2.8
• daocloud.io/library/mysql:5.7
• daocloud.io/library/mongo:3.4.2

1. 项目环境镜像

• mi_environment:v6

根据 python2.7 的基础镜像，安装系统需要的 python 依赖包，生成 mi_environment 镜像，随着项目的进展，迭代六次，持续提供可靠地的运行和测试环境。

1. 项目镜像

• mi_manager:v6

由 mi_manager(python 程序源码)在 mi_environment 上打包而成,。运行容器可开启 Web 端管理应用和与任务调度相关的守护进程。

• mi:v12

由 mi(python 程序源码)在 mi_environment 上打包而成。运行容器自动获取 mi_manager 发布的任务，并开始爬虫任务。

在容器化的基础上，寻找管理和调度容器的方法。最终采用 zookeeper+meos+marathon 来进行容器的调度，其中 zookeeper 维持框架中服务的持久运行，mesos 来管理分布式系统中各个节点上的资源，marathon 来调度任务、管理 docker 容器。

系统结构图如下所示：

 

 

 源码和文档都托管在了【WRITE-BUG数字空间】上面了，有需要的可自取~