文章说明:本文是在学习一个网络爬虫课程时所做笔记,文章如有不对的地方,欢迎指出,积极讨论。
墨菲定律:
1)任何事情没有看起来那么简单
2)所有的事情都会比你预计的时间长
3)可能出错的事情会出错
4)如果你担心某种情况会发生,那么他一般会发生
应对高并发的基本思路(利用机器换内存):
1、加快单机的速度,例如使用redis,提高数据访问频率;增加CPU的内核数,增大内存;
2、增加服务器的数量,利用集群。
并发(Concurrent):在OS中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但在一个时刻点上只有一个程序在处理机上运行。
集群(cluster):是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用是,集群像是一个独立