1 传输层和网络层的区别:
1.1 负责对象的不同
- 传输层负责建立进程间的通信(即只关心进程A和进程B的消息传递,不考虑底下的东西)
- 网络层负责建立主机间的通信(即只关心主机A怎么发给主机B)
同理链路层就是物理上相邻的2个机器如何通信,物理层是电路上的通信
1.2 校验上的不同
- 传输层会对数据和首部一起做校验
- 网络层只对首部做校验,数据报部分不会关心。
2 端口号
端口号是传输层重要的概念。
2.1 端口号的意义
① 为进程适应不同操作系统提供一个复用和分用的软件
复用:发送方不同进程都用同一种协议传输,目的端口号承担了这个工作
分用:接收方把IP报文组装交付时,通过端口号确认交付给谁
② 端口是进程的重要交互地址。
即由端口确定交给主机上的哪个进程。
③ 只具有本地意义,只对本机有效
2.2 端口号范围
端口号共16位,因此最大为65535
-
服务器端口号(做listen用的端口号)有2类:
- 熟知端口号:0~1023
熟知端口号有以下:
HTTP:80
HTTPS:443
DNS:53
FTP:21
TFTP:69
SNMP:161
TELNET:23
SMTP:25- 注册端口号: 1024~49151,也叫系统端口号。有许多服务绑定于这些端口。
- 动态和/或私有端口:49152~65535,理论上,不应为监听服务分配这些端口,一般是用于客户端的短暂端口号。
-
UDP和TCP有各自的专属端口号,因此不会重复和干扰。
3 TCP
TCP全称
Transmission Control Protocol, 即传输控制协议。
基于套接字传输
套接字:IP+端口号
tcp的可靠性如下:
- 数据被分隔成很多份合适的块来发送
- 有超时重传机制
- 会校验首部和数据内容。
- 会对收到的数据报文做排序,按顺序组装上交
5.会丢弃重复的数据
6.提供流量控制,发送主机不会一下子发送太快
7.每次传输都有序号和ack应答,全双工。
3.1 TCP首部
位数 | 含义 | 详情 |
---|---|---|
16 | 源端口 | 因此端口号最多16位 |
16 | 目的端口 | |
32 | 报文序号 | 该报文的序号 |
32 | 确认号 | 期望收到的下一个报文序号。如果确认号位N,说明N-1都已经收到 |
4 | 数据偏移 | 数据部分的起始位置,可以理解为首部长度。单位是4字节。 |
6 | 保留位 | 没用,全部置成0 |
1 | URG紧急指针标志 | 是否存在紧急数据 |
1 | ACK标志 | 是否是确认报文 |
1 | PSH推送标志 | 是否需要尽快上交进程 |
1 | RST复位标志 | 是否需要重建连接 |
1 | SYN同步建立连接标志 | 是不是连接建立期间的报文 |
1 | FIN终止标志 | 是否是终止连接期间的报文 |
16 | 窗口 | 收到ack前对方可发送回来的数据量 |
16 | 校验和 | 校验首部+数据+伪首部(伪首部指携带了ip的首部) |
16 | 紧急指针位置 | 紧急数据放在末尾,需要给出紧急数据的长度,便可推断位置 |
0-320 | 可变选项 | 一些TCP选项,例如 最大报文长度、时间戳等。最长40字节 |
? | 填充位 | 保证首部长度为4字节整数倍 |
从上面可以看到:
- TCP报文中不包含ip信息,只包含端口信息。
- 校验和中使用到了伪首部来做校验,即实际上是有ip信息被处理后包含在校验和中了。
- TCP首部最小长度为20字节,最大长度为60字节,取决于可变选项。
- 首部长度必定是4字节整数倍,不足会填充,因为数据偏移里的单位设置是4字节。
|
3.2 滑动窗口
在TCP的发送端和接收端,有一个窗口的概念,直接用图片的方式简单明了回忆一下:
3.2.1发送端窗口
3.2.2 接收端窗口
这里可以看到接收端一次性接收的缓存是有限的,所以进程出现问题迟迟没有接收数据,那么会在ack里告知还能发多少份。
这个叫通告窗口,即告知接收端还能收几份数据(TCP报文里的窗口位就是这个)
3.2.3 坚持定时器
如果接收端的接收缓存用完,导致返回的ack报文里提示窗口为0,则发送端无法发送数据,此时会启动坚持定时器:
每隔5s发送1个字节的小报文,来查看对方窗口响应。当窗口不再为0,则结束坚持定时器
3.2.4 糊涂窗口
上面提到的坚持定时器机制里,导致了每次只发一小点数据。
避免措施:
1. 接收方设定一个最小窗口阈值,不通告小窗口
2. 发送方设定一个最小窗口阈值,每次发送满一定长度的报文
3. 发送手头所有数据切不接收ack
3.3 TCP连接流程
TCP通过三次握手建立连接,四次挥手结束连接
3.3.1 握手和挥手流程
把这个图牢记于心就不会有问题:
CLOSED状态:建立连接前的初始状态即关闭状态在建立连接前,先从CLOSED状态变成LISTEN状态(监听状态,表示可以传信号了)
- 当客户首先发送SYN后,客户变成SYN_SENT状态。
- 当服务器接收到SYN后,服务器变成了SYN_REVD状态。
- 当服务器传给客户一个SYN和ACK后,变成了ESTABLISHED状态(表述开始进行数据传输)
- 当服务器接受到客户传来的ACK后,也变成ESTABLISHED状态。
- 当客户发送FIN(主动关闭)后,客户变成了FIN_WAIT1状态。服务器收到FIN后,执行被动关6. 闭,服务器变成了CLOSEWAIT状态。
- 服务器先发送ACK,客户收到ACK后变成FIN_WAIT2状态。
- 过了一段时间,服务器才发送FIN,这时候服务器变成LAST_ACK状态客户收到FIN后,变成了TIME_WAIT状态,同时发送ACK,进行2MSL等待。之后2者一起变为CLOSED状态
- 为什么建立要3次握手?
建立握手3次原因:一方接收到syn报文后,需向对方回应一个ack。三次握手中,第一个是sync报文,第二个是ack、sync报文合在一起,第三个ack报文。这样就都回应了ack,需要3次。
关键在于最后一次需要一个对 接收端sync的ack响应。
- 为什么结束连接要4次挥手?
TCP中发送端发送fin后,就会将自己关闭。
但是接收端一方接收到fin报文后,数据可能还没发送完成。
所以需要先发完ack,再发fin,所以这里会多一次挥手。 最后ack是对fin的确认
- 能否挥手3次:能。收到第一个fin报文后,它可能刚好没有数据要传输了,fin和ack报文一起回应,对方再回应ack,总共三次,挥手完毕。实际中抓报文,有很多这样的情况。
3.3.2 两边同时相互建立连接会发生什么?
2边同时发送SYNC
2边同时收到后, 就会发现自己在还没收到SYNC-ACK的情况下收到了新的SYNC,说明发生了"同时打开"的情况。
此时他会直接发送ack,并且不再等待sync-ack响应了,直接进入ESTABLISHED状态。所以此时仅需2次握手(当然整体上看是4次,一边各2次)
3.3.3 两边同时关闭连接会发生什么
当2者发生同时关闭,即同时发出FIN时,会进入CLOSING状态,收到相互的ACK后进入TIME_WAIT状态. 即此时需2次挥手(整体上看是4次)
3.3.4 交互数据
每一个交互按键都会产生一个数据分组,每次从客户传到服务器的是一个字节的按键。而Rlogin需要远程系统回显客户键入的字符,这样就会产生4个报文段:
(1)来自客户的交互按键
(2)来自服务器的按键确认
(3)来自服务器的按键回显
(4)来自客户的按键回显确认
- nagle算法
当数据交互很快时, 可能会有很多小分组。
开启nagle后,会把小分组做合并一起发送。
3.3.5 异常情况
-
异常情况时,会把报文里的复位表示RST置为1。有3种情况会发送复位报文
①端口不存在
②进程异常终止
③客户端异常退出, 服务器没有收到任何fin,此时称为TCP半打开状态。如果TCP配置了心跳,则可以检测 -
半关闭
TCP的半关连接是指:TCP连接只有一方发送了FIN,另一方没有发出FIN包,仍然可以在一个方向上正常发送数据。 -
半连接
三次握手中,主动发起握手的一方不发最后一次ACK,使得服务器端阻塞在SYN_RECV状态半连接攻击(SYN攻击):会耗尽服务器资源,使得真正的请求无法建立连接。
3.4 拥塞避免机制
这块概念很多很乱,我按问题整理了一下,一步步来
3.4.1 建立连接后,每次发送的报文数量是固定的吗?
不是。
建立连接后,会先只发1条, 然后发2条,接着再发4条,逐步增加。
这个过程叫 “慢启动”。
这个1、2、4递增的数量称之为 拥塞窗口 cwnd
可以看到tcp发送的过程是一批一批发的,不是流式乱发的。
3.4.2 慢启动过程中,如果没发生超时,那么发送数量(拥塞窗口)什么时候不再倍增?
当到达慢启动门限ssthreshold时,会变成每次增加1
这个过程叫拥塞避免过程。
3.4.3 当进入拥塞避免,每次+1时,什么时候才会不再继续加?
随着每次发送的数量越发越多, 最终会超出带宽限制,于是就会有某条报文发生超时。
发送端检测到某条报文出现超时时,就会让 慢启动门限ssthreshold = 拥塞窗口cwnd/2
接着cwnd 重新置为1,从新开始慢启动。
上面这个过程叫 快速恢复
这样的好处在于可以检测到每次发送的上限,动态调整。
3.4.4 怎么判断报文发送超时?
接收端有一个冗余确认机制:
即发送端A 发送 1、2、3、4、5四条
但是B只收到 1、2、4、5, 在超时时间内没有收到3。
于是B会发送ack=3而不是ack=5 给A。
如果没收到3,则B会继续发。
当A发现连续3次收到了ack=3时, 则认为发生了超时,从而进入 “快速恢复”
3.4.5 上面提到的超时时间是怎么来的?
通过每次报文的往返时间计算出来的。
- RTT : 报文往返时间(指从发送到收到ack的时间)。每个报文发出后都有个定时器,收到后都会计算出一个RTT样本
- RTTs: 加权平均往返时间,类似于一个估算的往返时间,实时在变。
RTTs = (1-a) * RTTs + a * RTT最新样本
即每次得到RTT样本后, 都会使用a这个占比去更新RTTs。
- RTTd: RTT偏差加权平均值(就是用来计算超时时间应该比RTT多多少)
RTTd = (1 - b) * RTTd + b*RTTs - RTT最新样本
即每次会用新的RTTs以b的占比去更新一下RTTd,并减去RTT样本
- RTO : 超时重传时间
等于平均往返时间 加上 4倍偏差值
RTO = RTTs + 4*RTTd
3.4.6 如果发生重传,没有收到ack,那么最新的RTT样本应该怎么算?
会使用karn算法: 发生重传时,不更新这次的RTT样。选用后面收到的ack
修正karn: 为了避免发生重传后,实际RTT都变慢了,导致一下子所有请求都超时, 会在发生重传时,把RTO假大1倍。
4 UDP
网络层的多播和广播机制,需要依赖传输层的UDP。
4.1 TCP和UDP的区别:
- TCP有连接, UDP无连接
- TCP可靠, UDP不可靠,发出去不管了。也没有拥塞控制等机制。 不过UDP会做数据正确性校验。
- UDP会一次性交付一个完整报文,不会做拆分,TCP可能会有小的分组。
- UDP首部比较简单, 只有源端口、目的端口、报文长度、校验和、填充位。
4.2 UDP的一些特点
-
每次调用程序里多播的接口时,都会产生1个UDP消息,没有那种可以复用的UDP连接。
-
UDP数据报的最大长度,和应用程序可读写的数据报最大长度有关,和TCP/IP内核有关。
当数据报长度大于程序可读写长度,会引发 数据截断。所以udp数据的长度必须要控制好,毕竟他无法根据MTU做分片。 -
怎么确认MTU多大?
可以用taceroute命令检测MTU, 本质上是把TCP报文设置成不分片,然后逐步增大,直到发生了ICMP不可达的报错。 -
如果一次性发送了6个UDP数据报, 并且在链路层有6次ARP请求, 接收端收到6个UDP后,只会发送一个ARP响应。
-
UDP一般用于本地小范围通信, 所以差错其实相比TCP还小一点。
4.3 UDP的应用
TFTP(小文件传输)
DNS(域名解析)
SNMP(简单网络管理协议)
IGMP
BOOTP(无盘系统引导)
RTP(实时传输协议)
多媒体应用