爬虫前导知识-Http请求与响应-NetWork怎么看-python爬虫知识点1

一、网络编程基础

点这里

二、Http请求与响应

（一）HTTP通信组成

• HTTP通信由两部分组成： 客户端请求消息 与 服务器响应消息
  

（二）HTTP通信过程

（1） 当用户在浏览器的地址栏中输入一个URL并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为 Get 和 Post 两种方法。

• 向url地址发出请求

（2） 当我们在浏览器输入URL=http://www.baidu.com 的时候，浏览器发送一个Request请求去获取 http://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。

• 这个响应拿到的是网页的源代码，一个html源文件

（3） 浏览器分析Response中的 HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。 浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。

（三）几个概念

url

• 全球统一资源定位符
• url当中的十六进制：在浏览器请求一个url,浏览器会对这个url进行一个编码。(除英文字母、数字和部分标识其他的全部使用% 加 十六进制码进行编码)
  • 例如 : https://tieba.baidu.com/f?ie=utf-8&kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search
    %E6%B5%B7%E8%B4%BC%E7%8E%8B = 海贼王
• url实例： https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
  • https:：协议
  • new.qq.com：主机名
    以将主机理解为一台名叫 news.qq.com 的机器。这台主机在 qq.com 域名下
    port 端口号: 80 /new.qq.com 在他的后面有个 80 可以省略
  • TWF20200/TWF2020032502924000.html：访问资源的路径
  • #：anchor 锚点用前端在做页面定位的