Python Unpack 处理网络字节流

3 篇文章 0 订阅
本文探讨了在Python中使用struct.pack和unpack解析网络字节流时,遇到的字符串字节对齐问题。通过实例解释了为何去除等号会导致解析错误,并揭示了如何处理字符串长度、字节对齐以及额外填充空字节以确保正确解析。
摘要由CSDN通过智能技术生成

python struct 包中有pack和unpack 可以处理与C语言对应的数据,详细参考:https://blog.csdn.net/weiwangchao_/article/details/80395941

如果C/C++/C#端发送网络字节流中包含字符串,Python用unpack解析接收到的网络字节流时,可能会遇到字节对齐的问题。

比如, 下图中msg[4]是从网络中接收到的一个数据包,截图中是以16进制数据呈现的,可以用在线进制转化工具来查看十进制下的数值。

事实上,以上数据正确解析结果应该是:

红色竖线之间包含4个十六进制的数据,每个十六进制的数据代表一个字节,字符串每个元素占1个字节,可以算出上图中msg[4]总共有44个字节。 

 注意到,数据开头是一个逗号,ASII码值是44,正好就是上图解析出来的包头长度44。

 第二段数据是消息类型,xe9\x03\x00\x00 ,借助上面提到在线进制转换工具,可以看到十进制数值是1001,与正确解析结果相吻合。

注意:我的网络数据流采用大端模式,因此低位地址存放高字节,高危地址存放低地址,所以十进制转化时输入的是03e9而不是e903。

 

 注意到,unpack解析时,fmt中开头是=,查阅资料可知,=意味着按照网络原字节解析,即解析时不考虑字节对齐,按照用户输入大小'=3i 5s 4i 11s'直接解析。

 如果把fmt内容替换为'3i 5s 4i 11s',即去掉等号,那么解析出错

 i代表int, 4字节,1个s占个字节

那么,fmt指定的大小为 3i 5s 4i 11s=3*4+5+4*4+11=44,这与msg中总字节数完全一致。但是fmt去掉等号之后,考虑字节对齐,要求有47个字节,比实际多了3个字节。

原因:5s夹在3i和4i之间,前三个int应该能正确解析,解析字符串01-98的时候,由于字符串本身是5个字节,对齐到4字节的话,要用8个字节来存这个数据,刚好比实际多3个字节。

将msg[4]中的数据拷贝出来,在01-98后面填三个空字节,fmt内容不变,再解析,成功。

 那么,位于msg[4]末尾的Hello World本身占11个字节,如果字节对齐的话,应该也要加1个字节,为什么这里没有加,仍然能正确解析? 

根本原因尚不清楚,但是猜测只要字符串后面没有其他数据,就不会有问题,下面印证一下

在Hello World后面加个int。

fmt_test = 3i5s4i11si=3*4+5+4*4+11+1*4=48, 由于已经给01-98后面加了三个空字节,所以test实际大小是51字节,报错提醒要52字节。

 由于Hello World占11个字节,内存对齐到4字节的话,额外需要1个空字节,51+1=52刚刚好。下图可以看到hello World后加一个空字节后,解析正确。

如果把所有手动加入的空字节去掉,仍然想正确解析,就在 fmt内容前加等号,即按照fmt给定的数据类型和长度解析,效果见文章开头正确解析的案例。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值