python分布式架构_分布式架构

.1.分布式架构

整个爬取过程采用分布式架构，对于2000个微信公众号来说，将任务并行处理，可以有效的提高爬取效率。

采用Centos+Mongodb+Windows2012+Python+Redis进行分布式架构搭建，Mongodb的框架最核心的设计就是：Mongodb和MapReduce。Mongodb为海量的数据提供了存储，则MapReduce为海量的数据提供了计算，Windows2012作为抓取机器,Python和Redis数据缓冲区。

Mongodb是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Mongodb上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

1. 高可靠性。Mongodb按位存储和处理数据的能力值得人们信赖。

2. 高扩展性。Mongodb是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3. 高效性。Mongodb能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4. 高容错性。Mongodb能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

5. 低成本。Mongodb是开源的，项目的软件成本因此会大大降低。

6. 及时性：Python+Redis可以快速有效的处理并发数据，减小数据库处理压力。

有兴趣联系微信 85437898