了解爬虫的工作流程及相关概念

通用爬虫和聚焦爬虫的工作流程

---

通用搜素引擎的局限性

• 通用搜素引擎所返回的网页中90%的内容无用
• 图像、音频、视频多媒体的内容通用搜索引擎无能为力
• 不同的用户搜索的目的不全相同，但是返回内容相同

---

ROBOTS协议
Robots协议：网站通过Robotos协议告诉搜索引擎哪些页面也可以抓取，哪些页面不能抓取。
https://www.taobao.com/robots.txt

显示如下：

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

其中Dsiallow表示不可以进行抓取的资源，User-agent表示可以进行爬取的资源

---

浏览器发送HTTP请求的过程

注意：浏览器渲染出来的页面和爬虫请求的页面不一样的

---