1、控制节点,主要分为URL管理器,数据存储管理器和控制调度器
URL管理器:负责管理URL和将URL传递给爬虫节点
2、URL太长容易造成内存溢出,需要对URL进行MD5处理,字符串经过MD5处理后的信息摘要长度为128位,将生成的MD5摘要存储到set后,可以减少好几倍的内存消耗
简单分布式爬虫
最新推荐文章于 2024-06-21 15:11:58 发布
1、控制节点,主要分为URL管理器,数据存储管理器和控制调度器
URL管理器:负责管理URL和将URL传递给爬虫节点
2、URL太长容易造成内存溢出,需要对URL进行MD5处理,字符串经过MD5处理后的信息摘要长度为128位,将生成的MD5摘要存储到set后,可以减少好几倍的内存消耗