HTTP网络通信协议基础

目录

前言：

1.HTTP协议理论

1.1协议概念

1.2工作原理

1.3工作场景

2.HTTP抓包工具

2.1Fiddler工具

2.2抓包原理

2.3抓包结果

3.HTTP协议格式

3.1HTTP请求

3.2HTTP响应

3.3格式总结

---

前言：

  了解完网络编程的传输层UDP和TCP通信协议后，下来就需要开始对传输数据进行“加工”与“修饰”，即应用层协议。

  UDP和TCP协议只负责传输层数据的传输。在网络的应用层中，HTTP协议与HTTPS协议是最重要、最常用的一个通信协议。

  本节主要介绍HTTP协议的基本知识以及Fiddler抓包工具的简单使用。

序列：HTTP/HTTPS - 001

---

1.HTTP协议理论

1.1协议概念

 HTTP协议（全称为“超文本传输协议”）是一种应用非常广泛的应用层协议，目前已经发展成为一种最主流的应用层协议，是开发中最常使用的协议之一。

所谓“超文本”的含义，就是传输的内容不仅仅是文本，还可以是一些其他的资源，比如图片、视频和音频等二进制的文件数据。

平常我们在浏览器中打开一个网站就是通过HTTP协议来传输数据的。

HTTP协议往往是基于传输层的TCP协议实现（HTTP1.0、HTTP1.1和HTTP2.0均为TCP，HTTP3基于UDP实现）。

目前而言，日常开发中主要使用的还是HTTP1.1和HTTP2.0版本。

1.2工作原理

 当我们在浏览器中输入一个“网址”，此时浏览器就会给对应的服务器发送一个HTTP请求，对应的服务器收到这个请求之后，经过计算处理，就会给主机返回一个HTTP响应。

如图所示：

我们可以在浏览器开发者工具（F12）中的网络栏里观察到当前HTTP协议的详细交互过程。

如图所示：

在HTTP协议的请求/响应交互过程中，主机和服务器都是以“报文”的形式进行传递数据，这个报文是以字符文本的格式存储和传输的。

1.3工作场景

 在网络编程开发中，HTTP协议是最主流的应用层协议，是开发中最常使用的协议之一，程序员会经常使用到HTTP协议。

其主要用于以下场景：

1. 浏览器中访问操作网站，与网站服务器交互（BS端）；
2. 软件APP中访问操作对应的后台服务器（CS端）；

事实上，当我们在浏览一个网站的时候，大概率涉及很多次的HTTP请求/响应的交互过程。

为了清楚捕捉到所有的HTTP协议请求/响应的报文，所以我们要使用“抓包工具”获取详细的交互过程。

2.HTTP抓包工具

 在了解HTTP协议的格式之前，我们首先要了解和使用“抓包工具”获取传输报文，传输报文对于学习和了解HTTP协议非常重要。

2.1Fiddler工具

 在市面上的HTTP抓包工具有很多，以其中最简单便捷的一款Fiddler抓包工具为例。

FIddler是一款专门抓取针对http或https请求/响应的工具，它对于其他的抓包工具而言具有清晰、方便的优点，所以推荐使用Fiddler抓包工具。

Fiddler的官方下载地址为：Fiddler | Web Debugging Proxy and Troubleshooting Tools；安装过程比较简单，一路next即可。

安装完成之后Fiddler界面如下：

安装完成之后，依次选择左上角Tools->Options...->HTTPS->勾选全部的内容，操作完成之后就可以抓取主机的所有http和https请求/响应报文。

• 左侧窗口显示了所有的HTTP请求/响应，可以选中某个请求查看详情；
• 右侧上方显示了HTTP请求的报文内容；(切换到Raw标签页可以看到详细的数据格式)
• 右侧下方显示了HTTP响应的报文内容；(切换到Raw标签页可以看到详细的数据格式)
• 请求和响应报文的详细数据，可以通过右下角的View in Notepad通过记事本打开；

可以使用Ctrl+A全选左侧的抓包结果，Delete键清除所有被选中的结果，这样的做法可以准确的找到下一次的协议交互信息。

2.2抓包原理

 Fiddler就相当于一个“代理”。

1. 浏览器访问sogou.com时，就会把HTTP请求先发给Fiddler，Fiddler再把请求转发给sogou服务器。
2. 当sogou服务器返回数据时，Fiddler拿到返回数据，再把数据交给浏览器，因此Fiddler对于浏览器和sogou服务器之间交互的数据细节，都是非常清楚的。

“代理”关系如图所示：

2.3抓包结果

 因为HTTP协议的请求和响应是以字符文本的形式传输的，所以抓包结果也会是一个文本文件。

在Fiddler抓包工具中选中一条要查看的hppt协议请求/响应，切换到Raw标签页可以看到详细的数据格式，点击View in Notepad按钮，会看到一个文本文件，这个文本文件就是请求/响应的传输报文。

一个请求报文示例如下：

HTTP的传输报文中有规定的标椎格式，都是字符文本形式，通过对报文格式的了解可以知道传输过程中的很多信息。 

3.HTTP协议格式

 在获取了HTTP传输报文之后，就可以对报文的格式进行拆分和了解。本节只对两个报文格式进行简单介绍，在后续章节中会详解报文格式与关键词含义。

3.1HTTP请求

使用上述的请求报文示例：

请求格式拆解：

• 首行：[方法]+[url]+[版本号]，分别使用空格分隔；
• 请求头（Header）：请求的属性，每个键值对独占一行，冒号+空格来分割键和值；
• 空行：遇到空行表示Header部分结束；
• 正文（Body）：空行后面的内容都是Body，Body允许为空字符串。

如果Body部分存在，则在Header中会有一个Content-Length属性来标识Body的长度。

3.2HTTP响应

响应报文的详细数据，在Fiddler中通过右下角的View in Notepad打开：

响应格式拆解：

• 首行：[版本号]+[状态码]+[状态码解释]，分别使用空格分隔；
• 响应头（Header）：请求的属性，每个键值对独占一行，冒号+空格分割键和值；
• 空行：遇到空行表示Header部分结束；
• 正文（Body）：空行后面的内容都是Body，Body允许为空字符串。

如果Body部分存在，则在Header中会有一个Content-Length属性来标识Body的长度。 

如果服务器返回了一个Html页面，那么Html页面内容就在响应报文的Body中。 

3.3格式总结

 综上所述，HTTP协议的请求/响应格式图解：

请求/响应行、报头和空行必须要有，请求/响应正文部分可有可无。

空行作用：HTTP协议在传输层依赖TCP协议，TCP是面向字节流的，如果没有这个空行，就会出现“粘包问题”。

本节只对两个报文格式进行简单拆分，对于报文格式中的关键词介绍与使用，在下一篇文章中会依次进行介绍。

---

以上便是HTTP协议的基本知识和抓包工具Fiddler，感谢阅读。