爬虫的分类: 聚焦爬虫 通用爬虫
通用爬虫: 我们常用的搜索引擎 百度,搜狐,谷歌就是通用爬虫
通用爬虫的原理:
(1) 抓取网页
(2) 采集数据
(3) 数据处理
(4) 提供检索服务
通用爬虫如何抓取新网站?
(1) 主动提交url
(2) 设置友情链接
(3) 和DNS服务商合作, 抓取新网页
tobots.txt协议
限制爬虫程序爬取数据的条件
聚焦爬虫:
根据特定的需求, 抓取指定的数据
思路: 代替浏览器上网
爬取步骤:
(1) 提供url
(2)写程序, 模拟浏览器访问url
(3) 解析内容, 提取数据
网页的特点
每个网页都有自己唯一的url
网页内容都是html 结构
使用的都是http 或https协议