爬虫01--robots.txt协议&&http,https

robots协议

几乎是和爬虫技术诞生的同一时刻，反爬虫技术也诞生了。在90年代开始有搜索引擎网站利用爬虫技术抓取网站时，一些搜索引擎从业者和网站站长通过邮件讨论定下了一项“君子协议”—— robots.txt。即网站有权规定网站中哪些内容可以被爬虫抓取，哪些内容不可以被爬虫抓取。这样既可以保护隐私和敏感信息，又可以被搜索引擎收录、增加流量。

历史上第一桩关于爬虫的官司诞生在2000年，eBay将一家聚合价格信息的比价网站BE告上了法庭，eBay声称自己已经将哪些信息不能抓取写进了robots协议中，但BE违反了这一协议。但BE认为eBay上的内容属于用户集体贡献而不归用户所有，爬虫协议不能用作法律参考。最后经过业内反复讨论和法庭上的几轮唇枪舌战，最终以eBay胜诉告终，也开了用爬虫robots协议作为主要参考的先河。

最后，可以通过网站域名 + /robots.txt的形式访问该网站的协议详情，例如：www.taobao.com/robots.txt

http协议

官方概念：HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。（虽然童鞋们将这条概念都看烂了，但是也没办法，毕竟这就是HTTP的权威官方的概念解释，要想彻底理解，请客观目移下侧……）

白话概念：HTTP协议就是服务器（Server）和客户端（Client）之间进行数据交互（相互传输数据）的一种形式。我们可以将Server和Client进行拟人化，那么该协议就是Server和Client这两兄弟间指定的一种交互沟通方式。大家都看过智取威虎山中杨子荣和土匪们之间说的黑话吧：

• 土匪：蘑菇，你哪路？什么价？（什么人？到哪里去？）
  　　　　　　- 杨子荣：哈！想啥来啥，想吃奶来了妈妈，想娘家的人，孩子他舅舅来了。（找同行）
  　　　　　　- 杨子荣：拜见三爷！
  　　　　　　- 土匪：天王盖地虎！（你好大的胆！敢来气你的祖宗？）
  　　　　　　- 杨子荣：宝塔镇河妖！（要是那样，叫我从山上摔死，掉河里淹死。）
  　　　　　　- 土匪：野鸡闷头钻，哪能上天王山！（你不是正牌的。）
  　　　　　　- 杨子荣：地上有的是米，喂呀，有根底！（老子是正牌的，老牌的。）
  　　　　　　- 土匪：拜见过阿妈啦？（你从小拜谁为师？）
  　　　　　　- 杨子荣：他房上没瓦，非否非，否非否！（不到正堂不能说。）
  　　　　　　- 土匪：嘛哈嘛哈？（以前独干吗？）
  　　　　　　- 杨子荣：正晌午说话，谁还没有家？（许大马棒山上。）
  　　　　　　- 土匪：好叭哒！（内行，是把老手）
  　　　　　　- 杨子荣：天下大耷拉！（不吹牛，闯过大队头。）
  　　　　　　- 座山雕：脸红什么？
  　　　　　　- 杨子荣：精神焕发！
  　　　　　　- 座山雕：怎么又黄了？
  　　　　　　- 杨子荣：防冷，涂的蜡！
  　　　　　　- 座山雕：晒哒晒哒。（谁指点你来的？）
  　　　　　　- 杨子荣：一座玲珑塔，面向青寨背靠沙！（是个道人。）

是不是看到这里，有得童鞋终于知道了传说中的‘天王盖地虎’是真正含义了吧。此黑话其实就是杨子荣和土匪之间进行交互沟通的方式 （协议）。

HTTP工作原理

HTTP协议工作于客户端-服务端架构为上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送响应信息。

常见的请求头信息

accept:浏览器通过这个头告诉服务器，它所支持的数据类型
Accept-Charset: 浏览器通过这个头告诉服务器，它支持哪种字符集
Accept-Encoding：浏览器通过这个头告诉服务器，支持的压缩格式
Accept-Language：浏览器通过这个头告诉服务器，它的语言环境
Host：浏览器通过这个头告诉服务器，想访问哪台主机
If-Modified-Since: 浏览器通过这个头告诉服务器，缓存数据的时间
Referer：浏览器通过这个头告诉服务器，客户机是哪个页面来的 防盗链
Connection：浏览器通过这个头告诉服务器，请求完后是断开链接还是何持链接
X-Requested-With: XMLHttpRequest 代表通过ajax方式进行访问
User-Agent：请求载体的身份标识

常见的响应头信息

Location: 服务器通过这个头，来告诉浏览器跳到哪里
Server：服务器通过这个头，告诉浏览器服务器的型号
Content-Encoding：服务器通过这个头，告诉浏览器，数据的压缩格式
Content-Length: 服务器通过这个头，告诉浏览器回送数据的长度
Content-Language: 服务器通过这个头，告诉浏览器语言环境
Content-Type：服务器通过这个头，告诉浏览器回送数据的类型
Refresh：服务器通过这个头，告诉浏览器定时刷新
Content-Disposition: 服务器通过这个头，告诉浏览器以下载方式打数据
Transfer-Encoding：服务器通过这个头，告诉浏览器数据是以分块方式回送的
Expires: -1 控制浏览器不要缓存
Cache-Control: no-cache 
Pragma: no-cache

https协议

HTTPS (Secure Hypertext Transfer Protocol)安全超文本传输协议，HTTPS是在HTTP上建立SSL加密层，并对传输数据进行加密，是HTTP协议的安全版。

https加密算法

1. 对称秘钥加密
2. 非对称秘钥加密
3. 证书秘钥加密
   详情见https://book.apeland.cn/details/66