爬虫 需要知道的协议

robots.txt协议
君子协议，规定了网站中哪些数据可以被爬取

http 协议
概念：就是服务器和客户端进行数据交互的一种形式

常用请求头信息
  Uer-Agent:表示请求载体的身份标识
  connection:请求结束后，是断开连接还是保持连接

常用响应头信息：
  content-type：服务器响应客户端的数据类型

https协议：
安全的超文本传输协议

加密方式：
对称密钥加密 密钥和密文有可能会被拦截，然后暴露
非对称密钥加密 效率比较低，仍存在安全隐患
证书密钥加密

request 模块
  -urllib 模块
  -request 模块
request 模块:python中国原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高
        作用：模拟浏览器发送请求
如何使用：（requset模块的编码流程）
  -指定URL
  -发起请求
  -获取响应数据
  -持久化存储