接触爬虫很久了,一直没有个系统的理解和整理,近来假日无事,总结一下。
-------------------------------------------以下是目录---------------------------------------------------------
一、爬虫概述及分类
二、爬虫的应用场景
三、爬虫的一般执行过程
四、爬虫技术常用的知识
五、反爬虫
-------------------------------------------以下是正文---------------------------------------------------------
一、爬虫概述及分类
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
目前爬虫种类和一些基本信息如下:
二、爬虫的应用场景
三、爬虫的一般执行过程
执行过程: