2- 1 - python爬虫 ---HTTP协议

一、HTTP和HTTPS协议的定义
   
      HTTP协议（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。

      HTTPS协议:是HTTP协议的加密版本，在HTTP下加入了SSL层，使数据在传输过程中更加安全
   
      HTTP协议（HyperText Transfer Protocol，超文本传输协议）是因特网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。
   

   

二、HTTP在浏览器中请求的过程
   
     1、当用户在浏览器的地址中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为 “Get” 和 “Post” 两种方法 。

     2、当我们行浏览器输入 URL http://www.baidu.com 的时候，浏览器发送一个 Request 请求去获取 http://www.baidu.com 的 html 文件，服务器把Response文件对象发送回给浏览器。

     3、浏览器分析 Response 中的 HTML，发现其中引用了很多其他文件，比如 Images 文件，Css 文件，JS 文件。浏览器会自动再次发送Request 去获取图片，Css 文件，或者 JS 文件。

     4、当所有的文件都下载成功后，网页会根据 HTML 语法结构，完整的显示出来。

     

     

三、URL详解
     
     URL 是 Uniform Resource Locator 的简写，统一资源定位符。

scheme://host:port/path/?query-string=xxx#anchor

• scheme: 代表的是访问的协议，一般为 http 或 https 以及 ftp 等
• host：主机名，域名，比如 www.baidu.com
• port：端口号。当你访问一个网站时，浏览器默认使用的80端口
• path：查找路径。比如：www.jianshu.com/trending/now 后面的 trending/now 就是path。
• query-string：查询字符串，比如：www.baidu.com/s?wd=python 后面的 wd=python 就是查询字符串。
• anchor：锚点，后台一般不用管，前端用来丛页面定位的

     在浏览器中请求一个 url ，浏览器会对这个 url 进行一个编码。除英文字母，数字和部分符号外，其他全部使用百分号 + 十六进制码值进行编码。
     

     

四、常用的请求方式
     
     在 http 协议中，定义了八种请求方式。我们现在主要介绍两种方式，分别是 get 请求和 post 请求

1. get请求：一般情况下，只从服务区获取数据下来，并不会对服务器资源产生任何影响的时候回使用 get 请求。
2. post请求：向服务器发送数据 (登入)、上传文件等，会对服务器资源产生影响的时候会使用 post 请求。

     以上是网站开发中常用的两种方法。并且一般情况下都会遵循使用的原则。但是有的网站和服务器为了做反爬机制，也经常会不按常理出牌，有可能一个应该使用 get 方法的请求就一定要改成 post 请求，这个要视情况而定。
     

     

五、请求头常见参数
     
     在 Http 协议中，向服务器发送一个请求，数据分为三部分，第一个是把数据放在 url 中，第二个是把数据放在 body 中(在 post 请求中)，第三个就是把数据放在 head 中。这里介绍网络爬虫中经常用到的一些请求头参数。

1. User-Agent: 浏览器名称。这个在网络爬虫中经常会被使用到。请求一个网页的时候，服务器通过这个参数就可以知道这个请求是由哪种浏览器发送的。如果我们是通过爬虫重发送请求，那么我们的 Urse-Agent 就是 python 这对于那些有反爬虫机制的网站来说，可以轻易的判断你这个请求就是爬虫。因此我们要经常设置这个值为一些浏览器的值，来伪装我们的爬虫。
2. Referer: 表明当前这个请求是从哪个 url 过来的。这个一般也可以用来做反爬虫技术。若果不是从指定页面过来，那么就不做相关的响应。
3. Cookie : http 协议是无状态的。也就是同一个人发送了两次请求，服务器没有能力知道这两个请求是否来自同一个人。因此这时候就用 Cookie 来做标识。一般如果想要登入后才能访问的网站，那么就需要发送 cookie 信息了。

     

     

六、常见响应状态码
     

1. 200：请求正常。服务器正常的返回数据。
2. 301：永久重定向。比如在访问 www.jingdong.com 的时候就会重定向到 www.jd.com。
3. 302：临时重定向。比如在访问一个需要登入的页面的时候，而此时没有登入，那么就会重定向到登入页面。
4. 400：请求的 rul 在服务器上找不到。换句话说就是请求 url 错误。
5. 403：服务器拒绝访问。权限不够。
6. 500：服务器内部错误。可能是服务器出现 bug 了。

     

     

七、Chrome抓包工具
     
     Charme浏览器是一个非常接近开发者的浏览器。可以方便的查看网络请求以及发送的参数。对着网页 右键–>检查。然后就可以打开开发者选项。如图所示。

感谢大家的学习，再见。欢迎关注本博客，接下来博主会持续更新关于python爬虫的知识，希望与大家一起进步，一起成长，谢谢大家。