python的粘包和分包

2019独角兽企业重金招聘Python工程师标准>>>

    twisted的Protocol.datareceived()能处理接收到的原始数据，既然是原始的，就可能和应用层定义的“包”有差异，即粘包和分包难以避免

    看一段处理粘包的代码：   

#!/usr/bin/env python
#coding=utf-8 


"""
假设包的结构为
    version | length | data
三部分，并用规定version字段用int表示，并有格式：
    1 = v0.0.1
    100 = v1.0.0
"""

import struct
def mypack(data):
    pack_format = '2I%ds'
    return struct.pack(pack_format % len(data),100,len(data),data)
    
#简单解码
def myunpack(data):
    pack_format = '2I%ds' % (len(data) - 2*4)
    return struct.unpack(pack_format,data)
 
#解码+处理粘包
def myunpack2(data):
    pack_format = '2I%ds' % (len(data) - 2*4)
    (version,length,str) = struct.unpack(pack_format,data) 
    
    if 0 < ((len(data) - 2*4)-length):
        #如果有粘包，则将后续字段，放入一个字符串中
        pack_format = '2I%ds%ds' % (length, (len(data) - 2*4)-length)
        return struct.unpack(pack_format,data) 
    else:
        return (version,length,str)
 
#测试
if __name__ == '__main__':  

    import json
    str = {'a':1111,'b':[],'c':'asfasdf'}
    str = json.dumps(str)
      
    a = mypack(str)
    print a
    b = myunpack2(a+a+a)
    print b
    while 3<len(b):
        b = myunpack2(b[3])
        print b

分包相对简单，即对最后一次输出的 b做判断

    if b[1] > len(b[2]):
        #分包了,最后一次的数据放入临时变量中，等待下一个数据流一起处理
        pass

-----------------------------------------

python的unpack函数没有php的那般强大，php的unpack还可以支持类似 * (任意多个)的匹配模式

转载于:https://my.oschina.net/kakablue/blog/305043