数据链路层
实作一 熟悉 Ethernet 帧结构
使用 Wireshark 任意进行抓包,熟悉 Ethernet 帧的结构,如:目的 MAC、源 MAC、类型、字段等。
第一处划线为目的MAC地址
第二处划线为源MAC地址
第三处划线为上层协议类型
问题
你会发现 Wireshark 展现给我们的帧中没有校验字段,请了解一下原因。
以太网帧的校验字段在帧的尾部,即数据字段的后面,而Wireshark不展示数据字段及其之后的字段。
实作二 了解子网内/外通信时的 MAC 地址
- ping 你旁边的计算机(同一子网),同时用 Wireshark 抓这些包(可使用 icmp 关键字进行过滤以利于分析),记录一下发出帧的目的 MAC 地址以及返回帧的源 MAC 地址是多少?这个 MAC 地址是谁的?
显然MAC地址为08:62:66:c5:ea:df
这个MAC地址,经核实为目的主机的MAC地址。
- 然后 ping qige.io (或者本子网外的主机都可以),同时用 Wireshark 抓这些包(可 icmp 过滤),记录一下发出帧的目的 MAC 地址以及返回帧的源 MAC 地址是多少?这个 MAC 地址是谁的?
显然发出帧的目的 MAC 地址以及返回帧的源 MAC 地址为18:f2:2c:ae:be:99
这个MAC地址是与我直接相连的设备的MAC地址,大概率是本子网网关的MAC地址。
- 再次 ping www.cqjtu.edu.cn (或者本子网外的主机都可以),同时用 Wireshark 抓这些包(可 icmp 过滤),记录一下发出帧的目的 MAC 地址以及返回帧的源 MAC 地址又是多少?这个 MAC 地址又是谁的?
显然发出帧的目的 MAC 地址以及返回帧的源 MAC 地址与2中的MAC地址相同为18:f2:2c:ae:be:99
这个MAC地址与的设备与2中一样,是与我直接相连的设备的MAC地址,大概率是本子网网关的MAC地址。
问题
通过以上的实验,你会发现:
访问本子网的计算机时,目的 MAC 就是该主机的
访问非本子网的计算机时,目的 MAC 是网关的
请问原因是什么?
目的MAC地址是指数据包要到达的直接相连的计算机的硬件地址。
如果数据包要到达本子网内的另一台计算机,那么目的MAC地址就是该计算机的硬件地址。
如果数据包要到达非本子网的计算机,那么它必须先到达本子网内的网关,然后网关再将数据包转发到目标计算机。
实作三 掌握 ARP 解析过程
- 为防止干扰,先使用 arp -d * 命令清空 arp 缓存
2. ping 你旁边的计算机(同一子网),同时用 Wireshark 抓这些包(可 arp 过滤),查看 ARP 请求的格式以及请求的内容,注意观察该请求的目的 MAC 地址是什么。再查看一下该请求的回应,注意观察该回应的源 MAC 和目的 MAC 地址是什么。
请求的目的地址为ff:ff:ff:ff:ff:ff即广播地址
该回应的源 MAC 为请求的MAC地址08:62:66:c5:ea:df,目的 MAC 地址为本机的MAC地址e0:d4:e8:08:3f:e5
- 再次使用 arp -d * 命令清空 arp 缓存
- 然后 ping qige.io (或者本子网外的主机都可以),同时用 Wireshark 抓这些包(可 arp 过滤)。查看这次 ARP 请求的是什么,注意观察该请求是谁在回应。
此时请求的是网关的MAC地址
同时也是网关在回复
问题
通过以上的实验,你应该会发现,
- ARP 请求都是使用广播方式发送的
- 如果访问的是本子网的 IP,那么 ARP 解析将直接得到该 IP 对应的 MAC;如果访问的非本子网的 IP, 那么 ARP 解析将得到网关的 MAC。
请问为什么?
因为本机并不知道该IP对应的主机的MAC地址为多少,所以只能通过广播的形式。
ARP广播仅能在在本子网中进行广播,所以如果访问的是本子网的IP,本子网的主机会直接进行回应。
如果是非本子网的IP,在数据链路层传输时,会首先发往网关,所以访问非本子网的IP时,与本机直接连接的设备就是本子网的网关,故ARP解析得到的将是网关的MAC地址。
网络层
实作一 熟悉 IP 包结构
使用 Wireshark 任意进行抓包(可用 ip 过滤),熟悉 IP 包的结构,如:版本、头部长度、总长度、TTL、协议类型等字段。
第一处划线为版本号
第二处划线为头部长度
第三处划线为总长度
第四次划线为TTL
第五处划线为协议类型(上层协议)
第六处划线为源IP
第七处划线为目的IP
问题
为提高效率,我们应该让 IP 的头部尽可能的精简。但在如此珍贵的 IP 头部你会发现既有头部长度字段,也有总长度字段。请问为什么?
头部长度代表IP包头部长度,而是让接收方网络层明白传输的数据有多少,从而去掉可能出现的数据链路层填充信息。
实作二 IP 包的分段与重组
根据规定,一个 IP 包最大可以有 64K 字节。但由于 Ethernet 帧的限制,当 IP 包的数据超过 1500 字节时就会被发送方的数据链路层分段,然后在接收方的网络层重组。
缺省的ping 命令只会向对方发送 32 个字节的数据。我们可以使用 ping 202.202.240.16 -l 2000 命令指定要发送的数据长度。此时使用 Wireshark 抓包(用 ip.addr == 202.202.240.16 进行过滤),了解 IP 包如何进行分段,如:分段标志、偏移量以及每个包的大小等
第一个IP包解析:
第一处划线为头部长度:20
第二处划线为该ip包总长度:1500
第三处划线为是否分段:已分段
第四处划线为偏移量:0
第二个IP包解析:
第一处划线为头部长度:20
第二处划线为该ip包总长度:548(必须为8字节的倍数)
第三处划线为是否分段:已分段
第四处划线为偏移量:1480
显然一次ping发送了2000字节,分为两个IP包进行发送,第一个IP包装载1480个字节的数据,第二个IP包装载剩下的数据。而第二个IP包的偏移量也为前一个IP包的最后一个字节在原信息中的位置,即1480,所以偏移量为1480。
问题
分段与重组是一个耗费资源的操作,特别是当分段由传送路径上的节点即路由器来完成的时候,所以 IPv6 已经不允许分段了。那么 IPv6 中,如果路由器遇到了一个大数据包该怎么办?
IPv6只能在源地址与目的地址上进行分段,不能在路由器上进行。当数据包过大时,路由器就会直接丢弃该数据包,并向发送端发回一个"分组太大"的ICMP差错报文,之后发送端就会使用较小长度的IP数据报重发数据。
实作三 考察 TTL 事件
在 IP 包头中有一个 TTL 字段用来限定该包可以在 Internet上传输多少跳(hops),一般该值设置为 64、128等。
在验证性实验部分我们使用了 tracert 命令进行路由追踪。其原理是主动设置 IP 包的 TTL 值,从 1 开始逐渐增加,直至到达最终目的主机。
请使用 tracert www.baidu.com 命令进行追踪,此时使用 Wireshark 抓包(用 icmp 过滤),分析每个发送包的 TTL 是如何进行改变的,从而理解路由追踪原理。
由此可以看出tracert是将TTL从1开始逐步增加,并逐步发出ICMP,当到达TTL的跳数时,如果不是目的IP则路由器会发回一个超过生命周期的ICMP,此时就可以获取该路由器的IP从而实现路由追踪。
问题
在 IPv4 中,TTL 虽然定义为生命期即 Time To Live,但现实中我们都以跳数/节点数进行设置。如果你收到一个包,其 TTL 的值为 50,那么可以推断这个包从源点到你之间有多少跳?
一般情况下收到包时所获取的TTL不会低于包发出时的TTL的一半,且发出时TTL大小一般为2的n次方,所以可以推断处发出包时的TTL为大于获取到的包中的TTL的最小的2的n次方。
此处可以推断包发出时TTL为64,相减可知这个包从源点到本机之间有14跳。
传输层
实作一
- 用 Wireshark 任意抓包(可用 tcp 过滤),熟悉 TCP 段的结构,如:源端口、目的端口、序列号、确认号、各种标志位等字段。
- 源端口号
- 目的端口
- 序列号
- 确认号
- 报文头部长度
- 标志位
- 窗口数
- 校验和
- 用 Wireshark 任意抓包(可用 udp 过滤),熟悉 UDP 段的结构,如:源端口、目的端口、长度等。
- 源端口号
- 目的端口
- UDP报文长度
- 校验和
问题
由上大家可以看到 UDP 的头部比 TCP 简单得多,但两者都有源和目的端口号。请问源和目的端口号用来干什么?
传输层是进程与进程之间的通讯,而端口就是用来确定主机中的进程的。准确的说是主机中的网络进程运行在端口上。所以源端口用于确定发送方的进程,目的端口用于确定接收方的进程。
实作二 分析 TCP 建立和释放连接
-
打开浏览器访问 qige.io 网站,用 Wireshark 抓包(可用 tcp 过滤后再使用加上 Follow TCP Stream),不要立即停止 Wireshark 捕获,待页面显示完毕后再多等一段时间使得能够捕获释放连接的包。
-
请在你捕获的包中找到三次握手建立连接的包,并说明为何它们是用于建立连接的,有什么特征。
第一次:[SYN]为标志位,客户端序号seq = 0
第二次:[SYN,ACK]为标志位,服务器端序号seq = 0(上一次的ack第一次默认为0),确认号ack = 1(上一次seq+1)
第三次:[ACK]为标志位,客户端序号seq = 1(上一次ack),确认号ack = 1(上一次seq+1)
- 请在你捕获的包中找到四次挥手释放连接的包,并说明为何它们是用于释放连接的,有什么特征。
四次挥手在这里只抓到三次挥手(seq和ack的规则同握手)
第一次:[FIN,ACK]作为标志位,seq = 428,ack = 170
第二次:[FIN,ACK]作为标志位,seq = 170,ack = 429
第三次:[ACK]作为标志位,seq = 429,ack = 171
问题一
去掉 Follow TCP Stream,即不跟踪一个 TCP 流,你可能会看到访问 qige.io 时我们建立的连接有多个。请思考为什么会有多个连接?作用是什么?
单一连接传输速度有限,多连接可以并行传输数据,提高传输速率和用户体验。
问题二
我们上面提到了释放连接需要四次挥手,有时你可能会抓到只有三次挥手。原因是什么?
协议开发者为了提高效率有意的将四次挥手的第二次和第三次合并在一起,并没有分成两次来发送。这种情况出现在对方收到本端FIN报文时,对方也没有数据发给本端,那么对方也会发送FIN给本端,用于关闭从对方到本端的连接,这时候就可能出现ACK和FIN合在一起的情况。也就是第二次和第三次合并在一起。
应用层
实作一 了解 DNS 解析
-
先使用 ipconfig /flushdns 命令清除缓存,再使用 nslookup qige.io 命令进行解析,同时用 Wireshark 任意抓包(可用 dns 过滤)。
-
你应该可以看到当前计算机使用 UDP,向默认的 DNS 服务器的 53 号端口发出了查询请求,而 DNS 服务器的 53 号端口返回了结果。
-
可了解一下 DNS 查询和应答的相关字段的含义
16位标识字段用于标记一对DNS查询和应答,以此区分一个DNS应答是哪个DNS查询的回应。
16位标志字段用于协商具体的通信方式和反馈通信状态。
- QR,查询/应答标志。0表示这是一个查询报文,1表示这是一个应答报文。
- opcode,定义查询和应答的类型。0表示标准查询,1表示反向查询(由IP地址获得主机域名),2表示请求服务器状态。
- AA,授权应答标志,仅由应答报文使用。1表示域名服务器是授权服务器。
- TC,截断标志,仅当DNS报文使用UDP服务时使用。因为UDP数据报有长度限制,所以过长的DNS报文将被截断。1表示DNS报文超过512字节,并被截断。
- RD,递归查询标志。1表示执行递归查询,即如果目标DNS服务器无法解析某个主机名,则它将向其他DNS服务器继续查询,如此递归,直到获得结果并把该结果返回给客户端。0表示执行迭代查询,即如果目标DNS服务器无法解析某个主机名,则它将自己知道的其他DNS服务器的IP地址返回给客户端,以供客户端参考。
- RA,允许递归标志。仅由应答报文使用,1表示DNS服务器支持递归查询。
- zero,这3位未用,必须都设置为0。
- rcode,4位返回码,表示应答的状态。常用值有0(无错误)和3(域名不存在)。
- 查询名以一定的格式封装了要查询的主机域名。
- 16位查询类型表示如何执行查询操作,常见的类型有如下几种:
类型A,值是1,表示获取目标主机的IP地址。
类型CNAME,值是5,表示获得目标主机的别名。
类型PTR,值是12,表示反向查询。- 16位查询类通常为1,表示获取因特网地址(IP地址)。
- 32位域名是该记录中与资源对应的名字,其格式和查询问题中的查询名字段相同。16位类型和16位类字段的含义也与DNS查询问题的对应字段相同。
- 32位生存时间表示该查询记录结果可被本地客户端程序缓存多长时间,单位是秒。
- 16位资源数据长度字段和资源数据字段的内容取决于类型字段。对类型A而言,资源数据是32位的IPv4地址,而资源数据长度则为4(以字节为单位)。
问题
你可能会发现对同一个站点,我们发出的 DNS 解析请求不止一个,思考一下是什么原因?
DNS解析时,先从本地缓存和hosts文件中查询,如果没有就向本地DNS服务器发送查询请求,DNS服务器会在本地缓存中是否有,如果没有,则会向上级发出查询请求,没有就会继续向上级发请求查询,直到根服务器。
实作二 了解 HTTP 的请求和应答
- 打开浏览器访问 qige.io 网站,用 Wireshark 抓包(可用http 过滤再加上 Follow TCP Stream),不要立即停止 Wireshark 捕获,待页面显示完毕后再多等一段时间以将释放连接的包捕获。
- 请在你捕获的包中找到 HTTP 请求包,查看请求使用的什么命令,如:GET, POST。并仔细了解请求的头部有哪些字段及其意义。
该请求使用GET命令
- 服务器主机
- 请求编码
- 是否需要长连接
该请求使用POST命令
- 服务器主机
- 响应的内容类型
- 包长度
- 是否需要长连接
- 请求编码
- 请求语言
- 请在你捕获的包中找到 HTTP 应答包,查看应答的代码是什么,如:200, 304, 404 等。并仔细了解应答的头部有哪些字段及其意义。
- 基本信息,如状态码,HTTP版本
- 服务器类型
- 时间数据
- 响应内容类型
- 包长度
- 连接状态,是否保持长连接
状态码
- 消息:以1开头
- 成功:以2开头
- 重定向:以3开头
- 请求错误:以4开头
- 服务器错误:以5、6开头
问题
刷新一次 qige.io 网站的页面同时进行抓包,你会发现不少的 304 代码的应答,这是所请求的对象没有更改的意思,让浏览器使用本地缓存的内容即可。那么服务器为什么会回答 304 应答而不是常见的 200 应答?
第一次访问时,向服务器发送请求,成功收到响应,返回200,浏览器下载资源文件,并记录下response header和返回时间。
再次访问相同资源时,本地先判断是否需要发送请求给服务端:即是否未超过过期时间,如果未超过使用本地缓存,如果超过就向服务器发送请求,并带上资源定位或该文件的最后修改时间。服务器收到请求后:有定位时会判断有定位的资源是否被修改,如果没有进行过修改,则发送304应答,如果进行过修改则带上资源并返回200应答。如果没有定位则比对最后修改时间,如果与服务器本地一致则发送304应答,如果不一致则带上资源和新的最后修改时间并返回200应答。