爬虫的分类,tobots协议

爬虫的分类: 聚焦爬虫 通用爬虫

通用爬虫: 我们常用的搜索引擎 百度,搜狐,谷歌就是通用爬虫

通用爬虫的原理:

(1) 抓取网页
(2) 采集数据
(3) 数据处理
(4) 提供检索服务

通用爬虫如何抓取新网站?

(1) 主动提交url
(2) 设置友情链接
(3) 和DNS服务商合作, 抓取新网页

tobots.txt协议

限制爬虫程序爬取数据的条件

聚焦爬虫:

根据特定的需求, 抓取指定的数据
思路: 代替浏览器上网
爬取步骤: 
	(1) 提供url
	(2)写程序, 模拟浏览器访问url
	(3) 解析内容, 提取数据

网页的特点

每个网页都有自己唯一的url
网页内容都是html 结构
使用的都是http 或https协议