本文介绍了网络爬虫的四种主要类型：通用网络爬虫，聚焦网络爬虫，增量式网络爬虫和深层网络爬虫。通用爬虫主要服务于搜索引擎，爬行整个Web；聚焦爬虫则针对特定主题，节省资源；增量式爬虫只更新新内容，提高效率；深层网络爬虫则致力于抓取隐藏在搜索表单后的深层页面。
爬虫分类
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫、深层网络爬虫。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的
通用网络爬虫
通用网络爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜索引擎和大型 Web 服务提供商采集数据。
这类网络爬虫的爬行范围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。
简单的说就是互联网上抓取所有数据。
最低0.47元/天 解锁文章
9727
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
