内容简介:
1.HTTP报文第一部分(请求行、响应行)的介绍
2.HTTP报文第二部分(消息报头)的介绍
3.GET和POST的区别
4.如何使用wireshark抓取http类型的数据包(附抓取的请求报文和响应报文)
5.c++实现HTTP请求报文和响应报文内容的提取
一、HTTP报文(请求行、响应行)介绍
HTTP请求(响应)报文分为三个部分:请求行(响应行)、消息报头、请求实体(响应实体)
1.请求行(请求报文的第一部分)
请求行由三部分组成:依次为Method、Request_URI、HTTP_Version,由空格分开。
1.1 Method
GET 请求获取 Request-URI 所标识的资源
POST 在 Request-URI 所标识的资源后附加新的数据
HEAD 请求获取由 Request-URI 所标识的资源的响应消息报头
PUT 请求服务器存储一个资源,并用 Request-URI 作为其标识
DELETE 请求服务器删除 Request-URI 所标识的资源
TRACE 请求服务器回送收到的请求信息,主要用于测试或诊断
CONNECT 保留将来使用
OPTIONS 请求查询服务器的性能,或者查询与资源相关的选项和需求
eg:GET /form.html HTTP/1.1 (CRLF)
2.响应行(响应报文的第一部分)
响应行也由三部分组成:以此为HTTP_Version、Status_Code、Reason_Phrase,由空格分开。
2.1 Status_Code
状态代码有三位数字组成,第一个数字定义了响应的类别,且有五种可能取值:
1xx:指示信息--表示请求已接收,继续处理
2xx:成功--表示请求已被成功接收、理解、接受
3xx:重定向--要完成请求必须进行更进一步的操作
4xx:客户端错误--请求有语法错误或请求无法实现
5xx:服务器端错误--服务器未能实现合法的请求
常见状态代码、状态描述、说明:
200 OK //客户端请求成功
400 Bad Request //客户端请求有语法错误,不能被服务器所理解
401 Unauthorized // 请 求 未 经 授 权 , 这 个 状 态 代 码 必 须 和 WWW-Authenticate 报 //头域一起使用
403 Forbidden //服务器收到请求,但是拒绝提供服务
404 Not Found //请求资源不存在,eg:输入了错误的 URL
500 Internal Server Error //服务器发生不可预期的错误
503 Server Unavailable // 服 务 器 当 前 不 能 处 理 客 户 端 的 请 求 , 一 段 时 间 后可能恢复正常
二、HTTP报文(消息报头)介绍
1.普通报头
在普通报头中,有少数报头域用于所有的请求和响应消息,但并不用于被传输的实体,只用于传输的 消息。
1.1 Cache-Control
用于指定缓存指令,缓存指令是单向的(响应中出现的缓存指令在请求中未必会 出现),且是独立的(一个消息的缓存指令不会影响另一个消息处理的缓存机制),HTTP1.0 使用的类似 的报头域为 Pragma。
请求时的缓存指令包括:no-cache(用于指示请求或响应消息不能缓存)、no-store、max-age、 max-stale、min-fresh、only-if-cached;
响应时的缓存指令包括:public、private、no-cache、no-store、no-transform、 must-revalidate、proxy-revalidate、max-age、s-maxage.
1.2 Date
普通报头域表示消息产生的日期和时间
1.3 Connection
普通报头域允许发送指定连接的选项。例如指定连接是连续,或者指定“close”选项, 通知服务器,在响应完成后,关闭连接
2.请求报头
请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。
2.1 Accept
Accept 请求报头域用于指定客户端接受哪些类型的信息。
eg:Accept:image/gif,表明客户端 希望接受 GIF 图象格式的资源;
Accept:text/html,表明客户端希望接受 html 文本。
2.2 Accept-Charset
Accept-Charset 请 求 报 头 域 用 于 指 定 客 户 端 接 受 的 字 符 集 。
eg : Accept-Charset:iso-8859-1,gb2312.如果在请求消息中没有设置这个域,缺省是任何字符集都可 以接受。
2.3 Accept-Encoding
Accept-Encoding 请求报头域类似于 Accept,但是它是用于指定可接受的内容编码。
eg: Accept-Encoding:gzip.deflate.如果请求消息中没有设置这个域服务器假定客户端对各种内容编码都可以接受。
2.4 Accept-Language
Accept-Language 请求报头域类似于 Accept,但是它是用于指定一种自然语言。
eg: Accept-Language:zh-cn.如果请求消息中没有设置这个报头域,服务器假定客户端对各种语言都可以接受。
2.5 Authorization
Authorization 请求报头域主要用于证明客户端有权查看某个资源。当浏览器访问一个页面时,如 果收到服务器的响应代码为 401(未授权),可以发送一个包含 Authorization 请求报头域的请求,要求服务器对其进行验证。
2.6 Host(发送请求时,该报头域是必需的)
Host 请求报头域主要用于指定被请求资源的 Internet 主机和端口号,它通常从 HTTP URL 中提取出来的.
2.7 User-Agent
User-Agent 请求报头域允许客户端将它的操作系统、浏览器和其它 属性告诉服务器。不过,这个报头域不是必需的
3.响应报头
响应报头允许服务器传递不能放在状态行中的附加响应信息,以及关于服务器的信息和对 Request-URI 所标识的资源进行下一步访问的信息。
3.1 Location
Location 响应报头域用于重定向接受者到一个新的位置。Location 响应报头域常用在更换域名的 时候。
3.2 Server
Server 响应报头域包含了服务器用来处理请求的软件信息。与 User-Agent 请求报头域是相对应 的。
eg:Server:Apache-Coyote/1.1
3.3 WWW-Authenticate
WWW-Authenticate 响应报头域必须被包含在 401(未授权的)响应消息中,客户端收到 401 响应 消息时候,并发送 Authorization 报头域请求服务器对其进行验证时,服务端响应报头就包含该报头域。
eg:WWW-Authenticate:Basic realm="Basic Auth Test!" //可以看出服务器对请求资 源采用的是基本验证机制。
4.实体报头
请求和响应消息都可以传送一个实体。一个实体由实体报头域和实体正文组成,但并不是说实体报头 域和实体正文要在一起发送,可以只发送实体报头域。
4.1 Content-Encoding
Content-Encoding 实体报头域被用作媒体类型的修饰符,它的值指示了已经被应用到实体正文的 附加内容的编码,因而要获得 Content-Type 报头域中所引用的媒体类型,必须采用相应的解码机制。 Content-Encoding 这样用于记录文档的压缩方法,
eg:Content-Encoding:gzip
4.2 Content-Language
Content-Language 实体报头域描述了资源所用的自然语言。没有设置该域则认为实体内容将提供 给所有的语言阅读 者。eg:Content-Language:da
4.3 Content-Length
Content-Length 实体报头域用于指明实体正文的长度,以字节方式存储的十进制数字来表示。
4.4 Content-Type
实体报头域用语指明发送给接收者的实体正文的媒体类型。
eg: Content-Type:text/html;charset=ISO-8859-1
Content-Type:text/html;charset=GB2312
4.5 Expires Expires
实体报头域给出响应过期的日期和时间。为了让代理服务器或浏览器在一段时间以后更新 缓存中(再次访问曾访问过的页面时,直接从缓存中加载,缩短响应时间和降低服务器负载)的页面,我们 可以使用 Expires 实体报头域指定页面过期的时间。eg:Expires:Thu,15 Sep 2006 16:23:12 GMT
三、GET和POST的区别
1.GET
最常见的一种请求方式,当客户端要从服务器中读取文档时,当点击网页上的链接或者通过在浏览器的地址栏输入网址来浏览网页的,使用的都是GET方式。GET方法要求服务器将URL定位的资源放在响应报文的数据部分,回送给客户端。使用GET方法时,请求参数和对应的值附加在URL后面,利用一个问号(“?”)代表URL的结尾与请求参数的开始,传递参数长度受限制。例如,/index.jsp?id=100&op=bind,这样通过GET方式传递的数据直接表示在地址中,所以我们可以把请求结果以链接的形式发送给好友。
地址中”?”之后的部分就是通过GET发送的请求数据,我们可以在地址栏中清楚的看到,各个数据之间用”&”符号隔开。显然,这种方式不适合传送私密数据。另外,由于不同的浏览器对地址的字符限制也有所不同,一般最多只能识别1024个字符,所以如果需要传送大量数据的时候,也不适合使用GET方式。
2.POST
使用POST方法可以允许客户端给服务器提供信息较多。POST方法将请求参数封装在HTTP请求数据中,以名称/值的形式出现,可以传输大量数据,这样POST方式对传送的数据大小没有限制,而且也不会显示在URL中。POST方式大多用于页面的表单中。
3.HEAD
HEAD和GET类似,只不过服务端接受到HEAD请求后只返回响应头,而不会发送响应内容。当我们只需要查看某个页面的状态的时候,使用HEAD是非常高效的,因为在传输的过程中省去了页面内容。
GET和POST的区别(三个方面):
1.提交内容的方式
GET提交,请求的数据会附在URL之后(就是把数据放置在HTTP协议头<request-line>中),以?分割URL和传输数据,多个参数用&连接;
POST提交:把提交的数据放置在是HTTP包的包体<request-body>中。
2.传输数据的大小
HTTP协议没有对传输的数据大小进行限制,HTTP协议规范也没有对URL长度进行限制,传输数据大小的限制是由特定的浏览器和服务器决定的。
GET:特定浏览器和服务器对URL长度有限制,例如IE对URL长度的限制是2083字节(2K+35)。对于其他浏览器,如Netscape、FireFox等,理论上没有长度限制,其限制取决于操作系统的支持。
POST:由于不是通过URL传值,理论上数据不受限。但实际各个WEB服务器会规定对post提交数据大小进行限制,Apache、IIS6都有各自的配置。
3.安全性
POST的安全性要比GET的安全性高。通过GET提交数据,用户名和密码将明文出现在URL上,因为(1)登录页面有可能被浏览器缓存, (2)其他人查看浏览器的历史纪录,有可能泄露账号和密码。
四、如何使用wireshark抓取http类型的数据包
1.下载wireshark工具
2.如果电脑连接WIFI,选择WALAN,点击开始
3.在过滤器中搜索http,找到http类型的数据包
4.选中一条,右键选择追踪流-HTTP流 ,就可以看到HTTP报文了,其中红色为客户端请求报文,蓝色为服务器响应报文。
HTTP请求报文如下:
POST /newvclientapi/?c=Register&a=sessionAdd&_=1555428379931 HTTP/1.1
Host: kf.ziyun.com.cn
Connection: keep-alive
Content-Length: 298
Accept: application/json, text/javascript, */*; q=0.01
Origin: http://www.wangdian.cn
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.92 Safari/537.36
Content-Type: text/plain; charset=UTF-8
Referer: http://www.wangdian.cn/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
{"websiteid":85432,"newguestid":"792cf050acf787070c0713e892fa09ee","visitorid":1179686765,"visitorip":"36.43.181.244","b":1358742,"area1":"..................","area2":"......","webname":".........erp......|............_............_......erp......","weburl":"http://www.wangdian.cn/","referece":""}
HTTP响应报文如下:
HTTP/1.1 200 OK
Server: nginx
Date: Tue, 16 Apr 2019 15:22:24 GMT
Content-Type: application/json; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
Access-Control-Allow-Origin: *
{"errno":0,"errmsg":"success","data":{"visitorid":1179686765,"tokenkey":"visitor-1555073517"}}
五、c++实现HTTP请求报文和响应报文内容的提取
#include<stdio.h>
#include<stdlib.h>
#include<iostream>
#include<string>
#include<vector>
using namespace std;
vector<pair<string, string>> result;//存放请求行(响应行)和消息报头
string buffString;//存放请求正文(响应正文)
void HTTPResolver(char* filePath)
{
char buff[1024];
FILE *fp = fopen(filePath, "r");
if (fp == NULL)
{
cout << "文件路径错误!" << endl;
}
/*处理每行内容*/
bool firstLine = true;//http报文的第一行,特殊处理
while (fgets(buff, 255, (FILE*)fp) != NULL)
{
///正文的提取
buffString = buff;
if (buffString == "\n")
{
long file_length = ftell(fp);
fgets(buff, 1024, (FILE*)fp);
buffString = buff;
break;
}
///请求行或状态行的提取
string temp = "";
if (firstLine == true)
{
vector<string> tempResult(3, "");
/*获取第一行内容,以空格做分隔符,将分离的字符串分别存储到result结果集中*/
int num = 1;//表示第一行的第几个字符串
bool isRequestLine = false;//表示是请求报文还是响应报文
for (int i = 0; i <= strlen(buff); i++)
{
if (buff[i] != ' ' && buff[i] != '\0')
{
temp += buff[i];
continue;
}
if (num == 2 && temp[0] == '/')//判断是请求行还是响应行
{
isRequestLine = true;
}
tempResult[num - 1] = temp;
temp = "";
num++;
}
//请求行的存储
if (isRequestLine)
{
result.push_back(make_pair("Method", tempResult[0]));
result.push_back(make_pair("Request-URI", tempResult[1]));
result.push_back(make_pair("HTTP-Version", tempResult[2]));
}
//响应行的存储
else
{
result.push_back(make_pair("Http-Version", tempResult[0]));
result.push_back(make_pair("Status-Code", tempResult[1]));
result.push_back(make_pair("Reason-Phrase", tempResult[2]));
}
firstLine = false;
}
///消息报头的提取
else
{
string temp1;//保存冒号之后的内容
bool isBefore = true;//表示是否在冒号之前
for (int i = 0; i <= strlen(buff); i++)
{
if (isBefore)//冒号之前
{
if (buff[i] == ':')
{
isBefore = false;
continue;
}
temp += buff[i];
}
else//冒号之后
{
temp1 += buff[i];
}
}
result.push_back(make_pair(temp, temp1));
}
}
}
int main()
{
/*输入文件路径*/
char filePath[] = "";
cout << "输入文件路径:" << endl;
cin >> filePath;
/*提取HTTP报文内容*/
HTTPResolver(filePath);
/*输出提取的内容*/
cout << endl;
vector<pair<string, string>>::iterator iter;
for (iter = result.begin(); iter != result.end(); iter++)
{
cout << iter->first << " : " << iter->second << endl;
}
cout << "body:\n" << buffString << endl;
system("pause");
return 0;
}