爬虫的robots.txt(君子协议) 以及 302状态码的演示及其他状态码

一、爬虫是什么？

名称：web-crawler (网络爬虫) 或者 spider 

简介：通过一定的规则（模拟网络请求）自动抓取（采集）互联网上的相关数据，原则上只要网上能够看到的东西，爬虫都可以抓取，可见即可爬。

爬虫分类：

1.通用爬虫：类似百度、谷歌、抓取对象是整个互联网

2.垂直爬虫：针对某些特定的网站指定的爬虫。比如今日头条：针对网站抓取；某些小的电商网站：抓取大的电商网站（jd，tb）

我们现在工作写的都是些垂直爬虫

robots 协议 ：网址末尾加上robots.txt

1.User-agent: 爬虫的名称

2.Disallow : 不允许爬虫访问的网址

        (1) User-agent : *

                Disallow:/           所有爬虫都不允许

        （2）User-agent:*

                Disallow:            所有爬虫都允许

        （3）Usr-agent ：Baiduspider

               Disallow:/  baidu         不允许baiduspider爬取这个路径下的数据

3.Allow :允许爬虫访问的网址

302的演示

我们在百度搜索框中输入 http://baidu.com 可以在检查中看到302状态码以及

Location:https://www.baidu.com/  实际的网址。