爬虫的分类
在上一小结中,我们介绍爬虫爬取到的数据用途的时候,给大家举了两个例子,其实就是两种不同类型的爬虫
根据被爬网站的数量的不同,我们把爬虫分为:
-
通用爬虫 :通常指搜索引擎的爬虫
-
聚焦爬虫 :针对特定网站的爬虫
爬虫的流程
请思考:如果自己要实现一个和百度新闻一样的网站需要怎么做?
聚焦爬虫的工作流程如下:
搜索引擎的工作流程如下:
但是搜索引擎类似的通用爬虫的工作流程有些不同
搜索引擎的局限性
-
通用搜索引擎所返回的网页里90%的内容无用。
-
图片、音频、视频多媒体的内容通用搜索引擎无能为力
-
不同用户搜索的目的不全相同,但是返回内容相同
robots协议
Robots协议:网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,但它仅仅是道德层面上的约束
例如:淘宝的robots协议