python处理二进制数据

原创 2013年12月05日 16:41:26

问题

       在工作中经常会用到socket传输数据,例如客户端给服务器发送数据(双方约定了数据格式),在交测之前,自己用python写个接受数据的server,解析下拼成的数据格式是否正确。用python写比C语言简单很多。

PS:实际上我是不会python的,工作中是C/C++开发,使用python纯属是为了偷懒^_^

       举个具体的例子:通信双方约定的数据格式为
          

       数据格式为二进制的,python需要用到struct模块处理二进制数据。struct模块中最重要的三个函数pack(), unpack(), calcsize()。因为struct相当于C语言中的结构体,unpack()返回的是一个元组。struct支持的格式如下表

        

        注1)q和Q只有在机器支持64位时有意义;

        注2)每个格式前可以有一个数字,表示个数;

        注3)s格式表示一定长度的字符串,4s表示长度为4的字符串,p表示的是pascal字符串;

        注4)P用来转换一个指针,其长度和机器字长有关;

默认情况下struct根据本地机器字节顺序转换,也可以用格式中的第一个字符来改变对齐方式。定义如下:

      

        注:无论数据包是python程序struct.pack()得到的,或者是C,C++,Java程序拼成的,只需保证client端和server端字节顺序保持一致即可。

       以文章开头的例子来说明pack()和unpack()函数:

      

        注:测试环境中中文为utf-8编码(python的编码折腾了半天,也没太懂,这里不是重点)

        1)pack(format, v1, v2, ...)按照指定的格式(format),把数据封装成字符串,例如

              >>s=struct.pack("2i13si6s2i", 33, 13, "www.baidu.com", 6, "冬季", 0, 0)

         2)unpack(format, string)    按照给定的格式(fmt)解析字节流string,返回解析出来的tuple,例如
              >>us=struct.unpack("2i13si6s2i", s)

          输出结果:

              >>print us
              (33, 13, 'www.baidu.com', 6, '\xe5\x86\xac\xe5\xad\xa3', 0, 0)

                   注: 中文部分是二进制,从元组中取出来再打印

              >> print us[4]
               冬季

              注:对python下的中文编码感兴趣的同学可以研究下python环境编码(再次说明我真的不会python! >_<)

举个简单的例子:

#!/usr/bin/python
import socket
import struct
import os
import time

if __name__ == "__main__":
    server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    server.bind(("127.0.0.1", 51001)) #本机端口号51001
    server.listen(1)
    while (1):
        conn,client = server.accept()
        conn.settimeout(5000)         #设置超时时间
        msg = conn.recv(4)            #total data length
        if len(msg) <= 0:             #接收空数据包 
            continue
        data = struct.unpack("i", msg)
        print "Recv Total length:%d"%(data[0])
        process_len = 0 
        msg = conn.recv(data[0])
        for i in range(0,4):          #循环四次,分别取 url title content author
            para = msg[process_len:(process_len + 4)] 
            if len(para) < 4:         #如果某一字段为空,不处理
                continue
            data = struct.unpack("i", para)
            str_len = data[0]
            print "%d"%(str_len)
            para = msg[(process_len + 4):(process_len + 4 + str_len)]
            if len(para) < str_len:   #如果实际收到的字符串长度小于数据头给的长度,不处理
                continue
            data = struct.unpack("%ds"%(str_len), para)
            print "%s"%(data[0])
            process_len = process_len + 4 + str_len 
        conn.close()

部分输出结果:

Recv Total length:355
117
http://mamashuozhelideidamasaike.com/nikanbudaoleba.html(补齐117位)
27
【段子】老板讲笑话
186
老板今天在办公室给大家讲了一个笑话,所有人都笑得人仰马翻,只有小李没笑。我笑着问他怎么不笑,小李冷冷答道:“我已经辞职了!”
9
春秋天


参考资料:http://blog.163.com/tieying5566@126/blog/static/6421517120117342958949/



版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Python和二进制(1)

一直对这个二进制以及python的处理方式有些模糊。综合查找到资料,理了一遍,清楚了很多。 什么是二进制数据?二进制文件?二进制文件和文本文件的区别 解释1: 这里谈谈文本文件与二进制文件以及C语...

Python使用struct处理二进制

有的时候需要用python处理二进制数据,比如,存取文件,socket操作时.这时候,可以使用python的struct模块来完成.可以用 struct来处理c语言中的结构体.   struc...

Python 进制互相转换(二进制、十进制和十六进制)

Python代码 #!/usr/bin/env python  # -*- coding: utf-8 -*-   # 2/10/16 base trans. ...

Python中 2进制,8进制,16进制数的相关表示

Python中: 2进制是以0b开头的: 例如: 0b11 则表示十进制的3 8进制是以0开头的: 例如: 011则表示十进制的9  16进制是以0x开头的: 例如: 0x11则表示十进制的17...

(已加马赛克)10 行代码判定色*情*图片——Python 也可以系列之二

10 行代码判定色*情*图片——Python 也可以系列之二作者:赖勇浩(http://blog.csdn.net/lanphaday)致编辑:我已经给图片打上马赛克了,别再删除了啊,我这是纯技术贴!...

python 十进制与二进制以及位运算

From: http://blog.sina.com.cn/s/blog_681de30a01013uiw.html    在python2.6以上的版本中自带了将十进制转化为二进制的函数b...

python二进制处理详述

总的感觉,python本身并没有对二进制进行支持,不过提供了一个模块来弥补,就是struct模块。 python没有二进制类型,但可以存储二进制类型的数据,就是用string字符串类型来存储二进制数...

用Python做图像处理

用Python做图像处理       最近在做一件比较 evil 的事情——验证码识别,以此来学习一些新的技能。因为我是初学,对图像处理方面就不太了解了,欲要利吾事,必先利吾器,既然只是做一下实验,那...

Python 位运算及二进制基础知识

来补点基础知识,这篇讲的是位运算 二进制实际上就是用10进制的数的每一位数字的2的幂数 来看例子: 然后再python的操作中,只要在数字前面加上0b的字符,就可以用二进制来表示十进制数了...

Python使用struct处理二进制(pack和unpack用法)

转载自:http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html 有的时候需要用python处理二进制数据,比如,存取文...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)