网络爬虫的组成

(1) 网络爬虫由控制节点 、爬虫节点 、资源库组成
(2) 控制节点，也就是爬虫节点的中央控制器，负责调用爬虫节点进行爬取
(3) 爬虫节点会按照相关的算法，对网页进行具体的爬取，爬取后的结果会存储在资源库中

 

 

 

 

 

 

    

转载于:https://www.cnblogs.com/pzk7788/p/10530759.html