目录
0.TCP协议格式
编辑
一.确认应答(安全机制)
二.超时重传(安全机制)
1.SYN丢包
2.ACK丢包
三.连接管理(安全机制)
1.三次握手建立连接
编辑
2.四次挥手断开连接
3.建立和断开连接
四.滑动窗口(效率机制)
五.流量控制(效率机制)
六.拥塞控制(安全机制)
七.延迟应答(效率机制)
八.捎带应答(效率机制)
九.面向字节流
1.粘包问题
2.具体的现象
3.解决方案
1.在消息末尾加上特殊的分隔符来标识消息的结束
2.使用一个专门用来描述消息体长度的字段,来标识消息体的具体长度
十.TCP异常情况
1.程序崩溃
2.正常关机
3.主机掉电操作
4.网线断开
十一.常见面试题
0.TCP协议格式
传输层协议
- 源/目的端口号:表示数据是从哪个进程来,到哪个进程去;
- 32位序号/32位确认号:后面详细讲;
- 4位TCP报头长度:表示该TCP头部有多少个32位bit(有多少个4字节);所以TCP头部最大长是 15 * 4 = 60
- 6位标志位:
URG :紧急指针是否有效
ACK :确认号是否有效
PSH :提示接收端应用程序立刻从 TCP 缓冲区把数据读走
RST :对方要求重新建立连接;我们把携带 RST 标识的称为 复位报文段
SYN :请求建立连接;我们把携带 SYN 标识的称为 同步报文段 FIN :通知对方,本端要关闭了,我们称携带 FIN 标识的为
结束报文段
- 16位窗口大小:后面再说
- 16位校验和:发送端填充,CRC校验。接收端校验不通过,则认为数据有问题。此处的检验和不光 包含TCP首部,也包含TCP数据部分。
- 16位紧急指针:标识哪部分数据是紧急数据;
- 40字节头部选项:暂时忽略;
TCP 对数据传输提供的管控机制,主要体现在两个方面:安全和效率。
这些机制和多线程的设计原则类似:保证数据传输安全的前提下,尽可能的提高传输效率。
一.确认应答(安全机制)
如果我们给一个人发送多条信息,由于网络的问题,可能会出现,乱序的问题.比如我们发送两条信息:1.你好.2.吃了吗?
由于网络问题,可能会出现接收方先接受到了"吃了吗?“,后接受到了"你好.”,这样的情况我们是不想出现的,因此确认应答机制可以很好的解决这种问题.
如下图,为了解决这种问题,每次发送消息的时候,TCP数据中的字节进行了编号,比如主机B接受到了1-1000byte的数据,32位序列号中1-1000标志已经接受到了1000个字节,确认序列号返回1001,表示下次从第1001个字节进行发送.
TCP将每个字节的数据都进行了编号。即为序列号。![](https://img-
blog.csdnimg.cn/44fa38ae7d434b3798e66ea71b7ef6fa.png)
每一个 ACK 都带有对应的确认序列号,意思是告诉发送者,我已经收到了哪些数据;下一次你从哪里开始发。
每次发消息的时候![](https://img-
blog.csdnimg.cn/4fbafada227b46ce930dc648217b8f09.png)将SYN置为1
每次接受消息确认的时候,将ACK置为1
二.超时重传(安全机制)
1.SYN丢包
主机A发送数据(SYN)给主机B,可能由于网络拥挤等原因,消息无法到达主机B,因此主机B也不会给主机A发送确认应发ACK.如果主机A特定时间内没有接收到主机B发送来的确认应答ACK,就会将上次的数据进行重发
2.ACK丢包
主机B接受到了主机A的数据,并且发送了确认应答ACK,但是由于网络拥堵等原因,ACK发送了丢包,主机A并没有主机B发送来的ACK应答.
这个时候也会触发超时重传机制.由于我们发送的消息主机B已经接受到了主机A发送的数据,只不过ACK应答丢包.主机B没有必要存储重复的数据,因此第二次发送消息的时候(超时重传),可以利用前面提到的序列号(前面一次发送序列号已经保存,第二次发送的时候已经存在这个序列号了),就可以很容易做到去重的效果,主机B只需要发送一个确认应答的ACK就可以了.
三.连接管理(安全机制)
在正常情况下, TCP 要经过三次握手建立连接,四次挥手断开连接
1.三次握手建立连接
对于网络通信来说,三次握手可以检查双发的收发能力是否正常 ,例如高铁每天都会空跑一趟.
从下图可以看出,通过两次SYN和ACK的过程可以确保双方的收发能力都没有问题,在这个基础上就可以进行正常的数据发送和接收
由于接收方的ACK和SYN可以合并为一次通信完成(都是在传输层进行发送,在后面的捎带机制也有讲解),提高了效率,四次握手可以简化为三次握手
三次握手标志位发生的变化
2.四次挥手断开连接
发送方发送断开连接,被接收方接收和应答,接收方会做一些断开前的准备工作.
一般来说FIN是由应用程序发起的,比如调用close()方法,所以是应用层面的,之后接收到发送方ACK应答,服务器就可以释放资源
为什么断开连接四次挥手不能转变为三次?
第一个ACK是操作系统(传输层)实现的TCP应答,第二个FIN是应用程序层面的,这两个操作是有时间差的,大概率是不会合并在一起的.
3.建立和断开连接
服务端状态转化:
- [CLOSED -> LISTEN] 服务器端调用listen后进入LISTEN状态,等待客户端连接;
- [LISTEN -> SYN_RCVD] 一旦监听到连接请求(同步报文段),就将该连接放入内核等待队列中,并向客户端发送SYN确认报文。
- [SYN_RCVD -> ESTABLISHED] 服务端一旦收到客户端的确认报文,就进入ESTABLISHED状态,可以进行读写数据了。
- [ESTABLISHED -> CLOSE_WAIT] 当客户端主动关闭连接(调用close),服务器会收到结束 报文段,服务器返回确认报文段并进入CLOSE_WAIT;
- [CLOSE_WAIT -> LAST_ACK] 进入CLOSE_WAIT后说明服务器准备关闭连接(需要处理完之前的数据);当服务器真正调用close关闭连接时,会向客户端发送FIN,此时服务器进入
- LAST_ACK状态,等待最后一个ACK到来(这个ACK是客户端确认收到了FIN)
- [LAST_ACK -> CLOSED] 服务器收到了对FIN的ACK,彻底关闭连接。
客户端状态转化:
- [CLOSED -> SYN_SENT] 客户端调用connect,发送同步报文段;
- [SYN_SENT -> ESTABLISHED] connect调用成功,则进入ESTABLISHED状态,开始读写数 据;
- [ESTABLISHED -> FIN_WAIT_1] 客户端主动调用close时,向服务器发送结束报文段,同时进入FIN_WAIT_1;
- [FIN_WAIT_1 -> FIN_WAIT_2] 客户端收到服务器对结束报文段的确认,则进FIN_WAIT_2,
- 开始等待服务器的结束报文段;[FIN_WAIT_2 -> TIME_WAIT] 客户端收到服务器发来的结束报文段,进入TIME_WAIT,并发出LAST_ACK;
- [TIME_WAIT -> CLOSED] 客户端要等待一个2MSL(Max Segment Life,报文最大生存时 间)的时间,才会进入CLOSED状态。
四.滑动窗口(效率机制)
刚才我们讨论了确认应答策略,对每一个发送的数据段,都要给一个 ACK 确认应答.收到 ACK
后再发送下一个数据段.这样做有一个比较大的缺点,就是性能较差.尤其是数据往返的时间较长的时候.
因此,我们设计了滑动窗口,一次发送特定数目的数据,可以大大提高效率.下面的案例窗口的大小为4,即一次可以发送四条SYN请求,当主机A接收到主机B发送的ACK应答的时候,滑动窗口向下进行移动,此时可以发送下一条的数据(4001
–5000).
- 窗口大小指的是无需等待确认应答而可以继续发送数据的最大值。上图的窗口大小就是4000个字节(四个段)。
- 发送前四个段的时候,不需要等待任何ACK,直接发送;
- 收到第一个ACK后,滑动窗口向后移动,继续发送第五个段的数据;依次类推;
- 操作系统内核为了维护这个滑动窗口,需要开辟 发送缓冲区 来记录当前还有哪些数据没有应答;只有确认应答过的数据,才能从缓冲区删掉;
- 窗口越大,则网络的吞吐率就越高;
- 假设窗口无限大,这个时候就效率就相当于UDP了.
那如果发生了丢包的问题,该如何解决呢?下面还是分两种情况进行考虑.
情况一 :数据包已经抵达,ACK被丢了。
这种情况下,部分ACK丢包了不要紧,可以根据后面的ACK进行确定.
比如确定序列为1001的ACK丢包了,但是后面2001的ACK应答被主机A成功接收了,我们可以根据这个应答确定前面的数据(1001)都已经接收了,因为如果没有接收到1
–1000数据,序列号不会改变,就不会发送2001的ACK应答.
现实案例:别人问你学历,你说是初中,这说明你已经上过小学了.
考虑一下,如果最后一次ACK丢包,会发生什么情况?这个时候后面已经没有ACK应答了,因此这个时候我们只能触发超时重传完成最后一次的SYN和ACK应答.
情况二 :数据包就直接丢了。
- 当某一段报文段丢失之后,发送端会一直收到 1001 这样的ACK,就像是在提醒发送端 “我想要的是 1001” 一样;
- 如果发送端主机连续三次收到了同样一个 “1001” 这样的应答,就会将对应的数据 1001 -2000 重新发送;
- 这个时候接收端收到了 1001 之后,再次返回的ACK就是7001了(因为2001 - 7000)接收端其实之前就已经收到了,被放到了接收端操作系统内核的接收缓冲区中;
这种机制被称为 “高速重发控制”(也叫 “快重传”)。
五.流量控制(效率机制)
主要是确定滑动窗口的大小,通过发送方与接收方动态协商来确认
每个程序在启动的时候都会去申请系统资源,发送和接收方缓冲区就是申请来的资源.
每次进行ACK应答的时候,ACK应答中将剩余空间的大小放在16位窗口大小
,表示具体可以接收多少数据,通过接收方反制发送方对窗口大小的限制,发送方不能为了提高效率而无限的扩展窗口的大小.
如果接收方的处理能力比较低,可能会出现缓冲区装满的情况,这个时候窗口的大小变为0,这个时候发送方不能再发送数据给接收.
解决窗口大小问题
那么问题来了, 16 位数字最大表示 65535 ,那么 TCP 窗口最大就是 65535 字节么?
实际上, TCP 首部 40 字节选项中还包含了一个窗口扩大因子 M ,实际窗口大小是窗口字段的值左移 M 位;
六.拥塞控制(安全机制)
虽然TCP有了滑动窗口这个大杀器,能够高效可靠的发送大量的数据。但是如果在刚开始阶段就发送大量的数据,仍然可能引发问题。
因为网络上有很多的计算机,可能当前的网络状态就已经比较拥堵。在不清楚当前网络状态下,贸然发送大量的数据,是很有可能引起雪上加霜的。
TCP引入 慢启动 机制,先发少量的数据,探探路,摸清当前的网络拥堵状态,再决定按照多大的速度传输数据;
- 发送方第一次发送数据,窗口大小是1
- 接下来每一次发送数据,窗口大小以指数扩大2 4 8 16
- 当达到初始阈值时,不再以指数扩大,而是线性的方式增长,每次加1
- 当窗口达到或个值时,出现了大量的丢包现象,也就是说频繁的出现超时重传,就说明网络出现了堵塞
- 拥塞窗口的大小直接回到最小值1,新的拥塞窗口阈值也会被调整=当前拥塞窗口值/2
- 重复1-5步
具体窗口的大小以以下两个因素决定:①接收方缓存区的大小 ②拥塞控制中根据网络的状态确定下来的窗口大小 我们一般取两者的较小值作为实际窗口的大小
少量的丢包,我们仅仅是触发超时重传;大量的丢包,我们就认为网络拥塞;
当TCP通信开始后,网络吞吐量会逐渐上升;随着网络发生拥堵,吞吐量会立刻下降;
拥塞控制,归根结底是TCP协议想尽可能快的把数据传输给对方,但是又要避免给网络造成太大压力的折中方案。
七.延迟应答(效率机制)
如果接收数据的主机立刻返回ACK应答,这时候返回的窗口可能比较小
- 假设接收端缓冲区为1M。一次收到了500K的数据;如果立刻应答,返回的窗口就是500K;但实际上可能处理端处理的速度很快,10ms之内就把500K数据从缓冲区消费掉了;
- 在这种情况下,接收端处理还远没有达到自己的极限,即使窗口再放大一些,也能处理过来;
- 如果接收端稍微等一会再应答,比如等待200ms再应答,那么这个时候返回的窗口大小就是1M;
可以选择以下两种情况来进行延迟应答:
- 数量限制:每隔N个包就应答一次;
- 时间限制:超过最大延迟时间就应答一次;
比如我们可以每两次请求,应答一次,比如第2,4,6应答.如果是偶数次请求,可以完成应答,如果是奇数次应答,那么最后一次就采用时间限制,超过一个系统默认的时间就应答.
八.捎带应答(效率机制)
由于延迟应答的存在,可能存在SYN报文和ACK报文同时发送的情况那么系统就会把两个报文合二为一(这就是三次握手建立连接可以把第一次ACK和第二次SYN合并在一起的原因)
九.面向字节流
1.粘包问题
在面向字节流中会出现的一个问题就是粘包问题
2.具体的现象
当发送方将数据发送给接受方的时候,发送的数据是以二进制(Java中的byte数组)进行传输的.接收方接受到之后,会存储到接收方的缓冲区中,发送方将多条数据发送给接收方,这多条数据一起存储到缓冲区中,此时如果我们不采取任何方式,多条数据存储到一块,这种不能有效区分消息边界的现象叫做粘包
3.解决方案
如何解决粘包问题其实就是如何区分这些消息的边界.
1.在消息末尾加上特殊的分隔符来标识消息的结束
比如我们在每条消息的末尾加上\n来作为一条消息的结束.
你好啊,一会去吃火锅吧!!!\n How are you.\n 不回信息你是个猪吗?\n
在获取消息的时候我们可以使用特殊字符截取缓冲区的内容
2.使用一个专门用来描述消息体长度的字段,来标识消息体的具体长度
1.读取消息的时候,先把4byte的表示消息体长度的字段读取出来,比如第一个长度为:42
2.继续在缓冲区读取42个字节,这42个字节表示消息的内容
3.在读取4个byte的下一个消息的长度,重复上面操作.
举例:
JSON,用大括号来包裹消息,那么就可以理解为他是使用大括号做为特殊字符来表示消息结尾的HTTP,应用层的协议,既使用分隔符也使用了表示消息长度的字段解决粘包问题
十.TCP异常情况
1.程序崩溃
操作系统是会感知到的,可以做相应的处理
操作系统会回收进程的资源,其中释放包括文件描述符表,就想当于调用了对应socket的close之后触发FIN操作,进而开始进入四次挥手,和普通的四次挥手没有区别.
2.正常关机
通过开始菜单或执行关机命令,系统会强制结所有进程,回收资源,与程序崩溃执行的流程类似
3.主机掉电操作
系统不会做出任何反应
- 接收方掉电
- 发送方并不知道接收方挂了,继续发送数据·发送数据后收不到ACK应答,触发超时重传
- 多次重传都没有收到ACK应答,会尝试进行连接重置(RST标识位)
- 连接重置也失败,只能放弃连接
- 发送方掉电
- 一般出现在长连接中,服务器与客户端会维护一个心跳包客户端每隔1秒给服务器发送一个数据包,证明自己存活)告诉对方我还在线,没有真实数据
- 如果服务器一直收不到这个心跳包,比如过了10秒之后还没有收到,就判定为客户端挂了,自行断开连接
- 客户端网络恢复之后再次进行重连即可
4.网线断开
与主机掉电的情况相同,只不过是主机都是正常工作的
十一.常见面试题
1.简述下三次握手,四次挥手的流程
上面已经讲解了,可以自行去看
2.为什么需要三次握手,两次不行吗?
上面已经讲解了,可以自行去看
3. UDP本身是无连接,不可靠,面向数据报的协议,如果要基于传输层UDP协议,来实现一个可靠传输,应该怎样设计?
4.UDP大小是受限的,如果要基于传输层UDP协议,传输超过64K的数据,应该如何设计?
问题三和问题四都可以基于TCP安全和效率机制进行回答,比如:
引入序列号,保证数据顺序;
引入确认应答,确保对端收到了数据;
引入超时重传,如果隔一段时间没有应答,就重发数据;
5.TCP和UDP的对比和区别.
TCP用于可靠传输的情况,应用于文件传输,重要状态更新等场景;
UDP用于对高速传输和实时性要求较高的通信领域,例如,早期的QQ,视频传输等。 另外UDP可以用于广播;
题外话
初入计算机行业的人或者大学计算机相关专业毕业生,很多因缺少实战经验,就业处处碰壁。下面我们来看两组数据:
2023届全国高校毕业生预计达到1158万人,就业形势严峻;
国家网络安全宣传周公布的数据显示,到2027年我国网络安全人员缺口将达327万。
一方面是每年应届毕业生就业形势严峻,一方面是网络安全人才百万缺口。
6月9日,麦可思研究2023年版就业蓝皮书(包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》)正式发布。
2022届大学毕业生月收入较高的前10个专业
本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中,本科计算机类专业起薪与2021届基本持平,高职自动化类月收入增长明显,2022届反超铁道运输类专业(5295元)排在第一位。
具体看专业,2022届本科月收入较高的专业是信息安全(7579元)。对比2018届,电子科学与技术、自动化等与人工智能相关的本科专业表现不俗,较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼,已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。
“没有网络安全就没有国家安全”。当前,网络安全已被提升到国家战略的高度,成为影响国家安全、社会稳定至关重要的因素之一。
网络安全行业特点
1、就业薪资非常高,涨薪快 2022年猎聘网发布网络安全行业就业薪资行业最高人均33.77万!
2、人才缺口大,就业机会多
2019年9月18日《中华人民共和国中央人民政府》官方网站发表:我国网络空间安全人才 需求140万人,而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W,现在从事网络安全行业的从业人员只有10W人。
行业发展空间大,岗位非常多
网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…
职业增值潜力大
网络安全专业具有很强的技术特性,尤其是掌握工作中的核心网络架构、安全技术,在职业发展上具有不可替代的竞争优势。
随着个人能力的不断提升,所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟,升值空间一路看涨,这也是为什么受大家欢迎的主要原因。
从某种程度来讲,在网络安全领域,跟医生职业一样,越老越吃香,因为技术愈加成熟,自然工作会受到重视,升职加薪则是水到渠成之事。
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
行业发展空间大,岗位非常多
网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…
职业增值潜力大
网络安全专业具有很强的技术特性,尤其是掌握工作中的核心网络架构、安全技术,在职业发展上具有不可替代的竞争优势。
随着个人能力的不断提升,所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟,升值空间一路看涨,这也是为什么受大家欢迎的主要原因。
从某种程度来讲,在网络安全领域,跟医生职业一样,越老越吃香,因为技术愈加成熟,自然工作会受到重视,升职加薪则是水到渠成之事。
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
3.技术文档和电子书
技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。
4.工具包、面试题和源码
“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。
还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。
这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。
参考解析:深信服官网、奇安信官网、Freebuf、csdn等
内容特点:条理清晰,含图像化表示更加易懂。
内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
如果你对网络安全入门感兴趣,那么你需要的话可以点击这里👉网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!