TCP粘包半包问题和解决

从 IP 传过来的 IP包对于以太网来说就是数据。给这些数据附加上以太网首部并进行发送处理,生成的以太网数据包将通过物理层传输给接收端。
经过层层转发后,服务器就会收到我们的请求报文,经过4-3-2-1的顺序将网络上传递的数据包再变成我们服务端程序可以处理的数据,整个过程如图所示:

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

但是在实际发送时有可能发生所谓的粘包和半包这种现象,比如:

假设客户端分别发送了两个数据包D1和D2给服务端,可能存在以下4种情况。

(1)服务端分两次读取到了两个独立的数据包,分别是D1和D2,没有粘包和半包;

(2)服务端一次接收到了两个数据包,D1和D2粘合在一起,被称为TCP粘包;

(3)服务端分两次读取到了两个数据包,第一次读取到了完整的D1包和D2包的部分内容,第二次读取到了D2包的剩余内容,这被称为TCP半包;

(4)服务端分两次读取到了两个数据包,第一次读取到了D1包的部分内容D1_1,第二次读取到了D1包的剩余内容D1_2和D2包的整包,这样同时存在着TCP粘包和TCP半包。

TCP粘包半包产生的原因

从前面的描述我们知道,TCP/IP每一层都有自己的分包格式和大小,每一层都存在着将上一层发给自己的报文按本层格式进行拆分的可能。

所以,细分起来,原因包括:

1、进行MSS大小的TCP分段。MSS是最大报文段长度的缩写,它是TCP报文段中的数据字段的最大长度。数据字段加上TCP首部才等于整个的TCP报文段。

2、如果IP层有一个数据包要传,而且数据的长度比链路层的大,那么IP层就会进行分片,把数据包分成若干片,以方便链路层进行传输。注意,分片可以发生在原始发送端主机上,也可以发生在中间路由器上。

当然,如果应用程序写入数据的字节大小大于套接字发送缓冲区的大小,也会产生所谓的分包现象。

而且从实际使用的TCP/IP实现来说,为了提高网络传输的效率,还存在着将多个较小的数据包进行合并然后再发送的情况。于是在这种情况下就会产生所谓的粘包。

解决粘包半包问题

由于底层的TCP无法理解上层的业务数据,所以在底层是无法保证数据包不被拆分和重组的,这个问题只能通过上层的应用协议栈设计来解决,根据业界的主流协议的解决方案,可以归纳如下。
(1)在包尾增加分割符,比如回车换行符进行分割;
(2)消息定长,例如每个报文的大小为固定长度200字节,如果不够,空位补空格;
(3)将消息分为消息头和消息体,消息头中包含表示消息总长度(或者消息体长度)的字段,通常设计思路为消息头的第一个字段使用int32来表示消息的总长度。

如果我们自己使用JDK的原生网络通信API进行网络程序的编写,则这些问题全部需要我们自行处理,而如果我们使用Netty进行网络程序的编写,作为优秀而成熟的网络通信框架,Netty已经为我们提供了很多网络通信方面的组件来解决我们在网络通信上所遇到的问题,比如我们上面所说的粘包半包。

在包尾增加分割符的方式,Netty为我们提供了LineBasedFrameDecoder,以回车换行符进行分割,保证数据的完整性,如果想要自定义分割符,可以使用DelimiterBasedFrameDecoder。

定长类的消息发送,可以使用Netty为我们提供的FixedLengthFrameDecoder。如果是不定长的消息,那么就可以使用LengthFileldBasedFrameDecoder,通过在消息中增加一个消息的长度字段,来告诉Netty如何从网络数据中正确的拆分完整的数据消息。

现在都说互联网寒冬,其实只要自身技术能力够强,咱们就不怕!我这边专门针对Android开发工程师整理了一套【Android进阶学习视频】、【全套Android面试秘籍】、【Android知识点PDF】。如有需要获取资料文档的朋友,可以点击我的GitHub免费获取!

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级Android工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Android移动开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

img

img

img

img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Android开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Android)

最后

我见过很多技术leader在面试的时候,遇到处于迷茫期的大龄程序员,比面试官年龄都大。这些人有一些共同特征:可能工作了5、6年,还是每天重复给业务部门写代码,工作内容的重复性比较高,没有什么技术含量的工作。问到这些人的职业规划时,他们也没有太多想法。

其实30岁到40岁是一个人职业发展的黄金阶段,一定要在业务范围内的扩张,技术广度和深度提升上有自己的计划,才有助于在职业发展上有持续的发展路径,而不至于停滞不前。

不断奔跑,你就知道学习的意义所在!

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!

讲解视频、实战项目源码讲义》点击传送门即可获取!**

  • 3
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值