爬虫笔记(一)
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本(参考百度百科)。
一、爬虫分类
爬虫,可分为四大类(通用爬虫、聚焦爬虫、增量式爬虫、深度爬虫)对应不同的需求场景。
- 通用爬虫
通用网络爬虫又称全网爬虫(Scalable Web Crawler),爬行对象从一些种子 URL 扩充到整个 Web,这类网络爬虫的爬行范围和数量巨大,对于爬行速度和存储空间要求较高,对于爬行页面的顺序要求相对较低,通常采用并行的工作方式。
通用网络爬虫的结构通常分为可以分为页面爬行模块 、页面分析模块、链接过滤模块、页面数据库、URL 队列、初始 URL 集合几个部分。