爬虫实战8—分布式系统的高可用与高并发处理

文章说明：本文是在学习一个网络爬虫课程时所做笔记，文章如有不对的地方，欢迎指出，积极讨论。

墨菲定律：

1）任何事情没有看起来那么简单

2）所有的事情都会比你预计的时间长

3）可能出错的事情会出错

4）如果你担心某种情况会发生，那么他一般会发生

应对高并发的基本思路（利用机器换内存）：

1、加快单机的速度，例如使用redis，提高数据访问频率；增加CPU的内核数，增大内存；

2、增加服务器的数量，利用集群。

并发（Concurrent）：在OS中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个处理机上运行，但在一个时刻点上只有一个程序在处理机上运行。

集群（cluster）：是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用是，集群像是一个独立