协议分析学习笔记

协议分析学习笔记

OSI七层模型和TCP/IP四层模型

每一层都只能与相邻的两层通讯,不能跨层通信

协议简介

1、ARP协议

地址解析协议，即ARP（Address Resolution Protocol），是根据IP地址获取物理地址的一个TCP/IP协议。主机发送信息时将包含目标IP地址的ARP请求广播到局域网络上的所有主机，并接收返回消息，以此确定目标的物理地址；收到返回消息后将该IP地址和物理地址存入本机ARP缓存中并保留一定时间，下次请求时直接查询ARP缓存以节约资源。地址解析协议是建立在网络中各个主机互相信任的基础上的，局域网络上的主机可以自主发送ARP应答消息，其他主机收到应答报文时不会检测该报文的真实性就会将其记入本机ARP缓存；由此攻击者就可以向某一主机发送伪ARP应答报文，使其发送的信息无法到达预期的主机或到达错误的主机，这就构成了一个ARP欺骗。ARP命令可用于查询本机ARP缓存中IP地址和MAC地址的对应关系、添加或删除静态对应关系等。相关协议有RARP、代理ARP。NDP用于在IPv6中代替地址解析协议。

基本原理

主机A的IP地址为192.168.1.1，MAC地址为0A-11-22-33-44-01；
主机B的IP地址为192.168.1.2，MAC地址为0A-11-22-33-44-02；
当主机A要与主机B通信时，地址解析协议可以将主机B的IP地址（192.168.1.2）解析成主机B的MAC地址，以下为工作流程：
第1步：根据主机A上的路由表内容，IP确定用于访问主机B的转发IP地址是 192.168.1.2。然后A主机在自己的本地ARP缓存中检查主机B的匹配MAC地址。
第2步：如果主机A在ARP缓存中没有找到映射，它将询问192.168.1.2的硬件地址，从而将ARP请求帧广播到本地网络上的所有主机。源主机A的IP地址和MAC地址都包括在ARP请求中。本地网络上的每台主机都接收到ARP请求并且检查是否与自己的IP地址匹配。如果主机发现请求的IP地址与自己的IP地址不匹配，它将丢弃ARP请求。
第3步：主机B确定ARP请求中的IP地址与自己的IP地址匹配，则将主机A的IP地址和MAC地址映射添加到本地ARP缓存中。
第4步：主机B将包含其MAC地址的ARP回复消息直接发送回主机A。
第5步：当主机A收到从主机B发来的ARP回复消息时，会用主机B的IP和MAC地址映射更新ARP缓存。本机缓存是有生存期的，生存期结束后，将再次重复上面的过程。主机B的MAC地址一旦确定，主机A就能向主机B发送IP通信了

ARP报文格式：

ARP命令：

ARP -a 显示所有接口的当前ARP缓存表
ARP -d 删除指定的IP地址项
ARP -s 添加静态IP-MAC映射记录

2.IP协议

目前有两个版本IPv4和IPv6

在IPv4协议种IP地址是一个32位数值，用来唯一标识网络的设备，采用点分四组的表示方法便于使用。每个IP地址包含两部分，网络地址和主机地址。网络地址和主机地址的划分由子网掩码决定。网络地址用来标识所连接的局域网，主机地址用来标识设备本身，子网掩码与IP地址等长，被设为1的部分标识IP地址的对应部分为网络地址，设为0的部分则标识IP对应为主机地址。

IP格式：

3.ICMP协议

ICMP（Internet Control Message Protocol）Internet控制报文协议。它是TCP/IP协议簇的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要的作用。当传送IP数据包发生错误，ICMP协议会把错误信息封包，然后传送回主机，给主机一个处理错误的机会，这就是ICMP协议的使命，它对于网络安全具有极其重要的意义。
ICMP协议大致分为两大类：查询报文和差错报文。查询报文由发送者发出，差错报文由出错的主机返回给发送者。

ICMP格式：
ICMP报文由首部和数据段组成。首部为定长的8个字节，前4个字 节是通用部分，后4个字节随报文类型的不同有所差异。ICMP报文 的一般格式如图所示：

4、TCP协议

TCP 用于应用程序之间的通信。当应用程序希望通过 TCP 与另一个应用程序通信时，它会发送一个通信请求。这个请求必须被送到一个确切的地址。在双方“握手”之后，TCP 将在两个应用程序之间建立一个全双工 (full-duplex) 的通信。这个全双工的通信将占用两个计算机之间的通信线路，直到它被一方或双方关闭为止。UDP 和 TCP 很相似，但是更简单，同时可靠性低于 TCP。

TCP格式：

上图中有几个字段需要重点介绍下：
（1）序号：Seq序号，占32位，用来标识从TCP源端向目的端发送的字节流，发起方发送数据时对此进行标记。
（2）确认序号：Ack序号，占32位，只有ACK标志位为1时，确认序号字段才有效，Ack=Seq+1。
（3）标志位：共6个，即URG、ACK、PSH、RST、SYN、FIN等，具体含义如下：
（A）URG：紧急指针（urgent pointer）有效。
（B）ACK：确认序号有效。
（C）PSH：接收方应该尽快将这个报文交给应用层。
（D）RST：重置连接。
（E）SYN：发起一个新连接。
（F）FIN：释放一个连接。

TCP的三次握手和四次挥手过程：

三次握手：
第一次握手：客户端发送一个TCP的SYN标志位置1的包指明客户打算连接的服务器的端口，以及初始序号X,保存在包头的序列号(Sequence Number)字段里。
第二次握手：服务器发回确认包(ACK)应答。即SYN标志位和ACK标志位均为1同时，将确认序号(Acknowledgement Number)设置为客户的ISN加1以.即X+1。
第三次握手：客户端再次发送确认包(ACK) SYN标志位为0,ACK标志位为1.并且把服务器发来ACK的序号字段+1,放在确定字段中发送给对方.并且在数据段放写ISN的+1。
四次挥手：
第一次挥手：客户端发送一个FIN，用来关闭服务端到Server的数据传送，客户端进入FIN_WAIT_1状态。
第二次挥手：服务端 收到FIN后，发送一个ACK给Client，确认序号为收到序号+1（与SYN相同，一个FIN占用一个序号），服务端进入CLOSE_WAIT状态
第三次挥手：服务端发送一个FIN，用来关闭Server到Client的数据传送，服务端进入LAST_ACK状态。
第四次挥手：客服端收到FIN后，服务端进入TIME_WAIT状态，接着发送一个ACK给服务端，确认序号为收到序号+1，Server进入CLOSED状态，完成四次挥手。

为什么连接的时候是三次握手，关闭的时候却是四次握手？
因为当Server端收到Client端的SYN连接请求报文后，可以直接发送SYN+ACK报文。其中ACK报文是用来应答的，SYN报文是用来同步的。但是关闭连接时，当Server端收到FIN报文时，很可能并不会立即关闭SOCKET，所以只能先回复一个ACK报文，告诉Client端，”你发的FIN报文我收到了”。只有等到我Server端所有的报文都发送完了，我才能发送FIN报文，因此不能一起发送。故需要四步握手。

5、UDP协议

（1）UDP是一个非连接的协议，传输数据之前源端和终端不建立连接，当它想传送时就简单地去抓取来自应用程序的数据，并尽可能快地把它扔到网络上。在发送端，UDP传送数据的速度仅仅是受应用程序生成数据的速度、计算机的能力和传输带宽的限制；在接收端，UDP把每个消息段放在队列中，应用程序每次从队列中读一个消息段。
（2）由于传输数据不建立连接，因此也就不需要维护连接状态，包括收发状态等，因此一台服务机可同时向多个客户机传输相同的消息。
（3）UDP信息包的标题很短，只有8个字节，相对于TCP的20个字节信息包的额外开销很小。
（4）吞吐量不受拥挤控制算法的调节，只受应用软件生成数据的速率、传输带宽、源端和终端主机性能的限制。
（5）UDP使用尽最大努力交付，即不保证可靠交付，因此主机不需要维持复杂的链接状态表（这里面有许多参数）。
（6）UDP是面向报文的。发送方的UDP对应用程序交下来的报文，在添加首部后就向下交付给IP层。既不拆分，也不合并，而是保留这些报文的边界，因此，应用程序需要选择合适的报文大小。

UDP格式：

TCP与UDP的区别:

1.基于连接与无连接；
2.对系统资源的要求（TCP较多，UDP少）；
3.UDP程序结构较简单；
4.流模式与数据报模式 ；
5.TCP保证数据正确性，UDP可能丢包，TCP保证数据顺序，UDP不保证。

7、HTTP协议

HTTP协议是程序员自己定义的一个应用层协议，由请求和响应构成，是一个标准的客户端服务器模型。HTTP是一个无状态的协议。HTTP协议（HyperText Transfer Protocol）是用于从WWW服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效，使网络传输减少。它不仅保证计算机正确快速地传输超文本文档，还确定传输文档中的哪一部分，以及哪部分内容首先显示(如文本先于图形)等。

HTTP协议的特点：

1、支持客户/服务器模式。支持基本认证和安全认证。
2、简单快速：客户向服务器请求服务时，只需传送请求方法和路径。请求方法常用的有GET、HEAD、POST。每种方法规定了客户与服务器联系的类型不同。由于HTTP协议简单，使得HTTP服务器的程序规模小，因而通信速度很快。
3、灵活：HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。
4、无连接：限制每次连接只处理一个请求，服务器处理完客户的请求，并收到客户的应答后，即断开连接。HTTP 1.1使用持续连接：不必为每个web对象创建一个新的连接，一个连接可以传送多个对象，采用这种方式可以节省传输时间。
5、无状态：HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。

HTTP URL
格式：http：//host[":"port][abs_path]

http: 表示要通过HTTP协议定位网络资源
host：表示合法的Internel主机域名或者IP地址
port：指定一个端口号，为空则默认80
abs_path：指定请求资源的URI

HTTP报文的头部是面向文本的，报文中的每一个字段都是一些ASCII码串，各个自动段的长度是不确定的。HTTP有两种报文类型：请求报文和响应报文。
HTTP请求报文：
HTTP请求报文由请求行、请求头部、空行和请求数据四部分组成。

（1）请求行：在HTTP请求报文中第一行，以空格为界，分为三个区域：【请求方法，常为GET/POST】+【请求的资源URL】+【HTTP协议版本，常为1.0/1.1】；
（2）请求报头Header：在HTTP请求报文中从第二行到空行之前的即为请求报头，是请求属性，均以冒号分割的键值对形式呈现，每组属性间用 \n 分隔；
（3）空行：表示报头已完，不能省略
（4）请求正文Body：空行以后的均是请求正文，表示要提交给浏览器看的消息，允许为空字符串。
其中：
1）GET方法：请求消息在正文中
2）POST方法：请求消息在报文中

典型的请求头：

请求头	说明
Host：	请求的主机名，允许多个域名同处一个IP地址，即虚拟主机
User-Agent：	发送请求的浏览器类型、操作系统等信息
Accept：	客户端可识别的内容类型列表，用于指定客户端接收那些类型的信息
Accept-Encoding：	客户端可识别的数据编码
Accept-Language：	表示浏览器所支持的语言类型
Connection：	允许客户端和服务器指定与请求/响应连接有关的选项，例如这是为Keep-Alive则表示保持连接。
Transfer-Encoding：	告知接收端为了保证报文的可靠传输，对报文采用了什么编码方式。

HTTP响应报文：
HTTP响应报文由状态行、响应头部、空行和响应数据四部分组成。

（1）状态行：在HTTP请求报文中第一行，以空格为界，分为三个区域：【协议版本号】+【状态码】+【状态码解释】；
（2）响应报头Header：在HTTP请求报文中从第二行到空行之前的即为请求报头，表示请求的属性；
（3）空行：表示报头已完，不能省略；
（4）响应正文Body：空行以后的均是请求正文，允许为空字符串，这部分内容为真实能够看到的（HTML/JS/CSS页面）

状态行：
状态码为3位数字，常见的状态码如下：

状态码	说明
200~299	表示成功
300~399	表示资源重定向
400~499	表示客户端请求出错
500~599	表示服务端出错
200	响应成功
302	跳转,跳转地址通过响应头中的Location属性指定
400	客户端请求语法错误,不能被服务器识别
403	服务器接收到请求,但是拒绝提供服务(认证失败)
404	请求资源不存在
500	服务器内部错误

响应头：
响应头部由键值对组成，每行一对，键和值用英文冒号分隔

响应头	说明
Server	服务器应用程序软件的名称和版本
Content-Type	响应正文的类型
Content-Lenght	响应正文长度
Content-Charset	响应正文使用的编码
Content-Encoding	响应正文使用的数据压缩格式
Content-Language	响应正文使用的语言