通俗浅谈分布式爬虫

什么是分布式😦😵???

你开发的网站只有部署在分在服务器上别人才能看见,因为互联网是很多电脑上的系统按一定协议组合在一起所形成的大网,也就是说你弄的东西发布在互联网上后所有电脑都能看到,因为服务器本身就是服务于互联网的.

但服务器所承受的太多了可能就会负载...,说白了就打个比方阿,就好比服务器他是个人,服务器是服务于所有访问者的,所以你要同时应对多个,你要服务的人,要同时应对多个任务,但你毕竟是个人阿😵😭!!!工作太多你可能会emo😅,同理服务器虽然工作能力很强,但毕竟不可能是无限度的,工作太多了可能会超过自己所能承受的限度,导致系统崩溃(不是不想干了,是真的废了,干不了了😂)

怎么办呢？你可能会想到在找几个人来应对这些自己要做的事,说白就是让别人为你减减负,那你自己不就能少干一点了吗😀?这像不像多线程(笔者以后会讲)?

于是网络开发者便把自己开发的网页同时部署到多个服务器上,服务器累就累点吧,但起码不至于崩溃😂,编程世界这有个专有名词,叫集群.

但这时可能就有人想了,像网站的后台管理这种模块,再怎么夸张也不至于系统崩溃呀! 对,有道理,如果把那些不至于崩溃的模块连人带肉都放在别的服务器上太浪费资源了,毕竟划不来嘛😅,因为人家一天天的闲着事都没的干,更何况累死呢

于是网页开发者就想了,那干脆直接让各个模块之间划清界限,也不至于一些像上边说的那个模块之类的给那浪费资源,浑水摸鱼(比如说内容管理模块管内容管理的,网页登录模块管网页登录的,让他们既相互帮助,又互不干涉😊😇😆😎)

好了,这就是分布式,分布式爬虫,我们下期再讲