基础爬虫架构有五大模块

https://www.cnblogs.com/guguobao/p/9544626.html 爬虫调度器:负责统筹其他四个模块的协调工作 URL管理器:管理URL链接,维持已经爬取的URL集合和未爬取的URL集合,提供新的URL链接接口 HTML下载器: 用于从URL管理器中获取未爬虫的U...

2018-08-27 21:29:41

阅读数 1259

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭