python unpack_Python二进制文件读写

小量最近用PySCF计算Hartree-Fock轨道传递给自己的程序使用，为了保证精度和节省硬盘空间，使用二进制文件来传递数据。本文简单小结一下Python的二进制文件的读写。

在Python中实现二进制文件的读写需要导入struct模块，对数据进行打包处理再写入文件。以下直接举一个简短的程序示例：

  1   #!/usr/bin/python

  2   import struct

  3   f = open('test.bin', 'w+b')

  4   a0 = 1

  5   a1 = 2

  6   data = struct.pack('2i', a0, a1)

  7   f.write(data)

  8   f.seek(0)

  9   data2 = f.read()

 10   (a, b) = struct.unpack('ii', data2)

 11   print a, b

第3行，打开文件时，模式需要添加'b'模式，表示二进制模式。注意，以读写模式打开时，不能写rw，应该写r+或w+模式。

第6行，将数据转化成二进制并进行打包。其通用格式为struct.pack(fmt,v1,v2,...)。由于python中数据不需要声明类型，因此需要在打包时指明数据类型，才能确定数据的字节数。例如本例中2i表示将两个整型数进行打包。各种数据类型所用的符号以及所占的字节数在Python的官方手册中有列表：

第7行，将数据写入文件。

第10行，将读出的数据解包，并根据数据类型转化为普通格式。注意，解包出来的数据会构成一个元组，因此，如果只有一个数据，要写成a,或者(a,)。

笔者遇到一个问题，始终不知道是何原因，如果有小伙伴知道，请留言告知。笔者尝试将一个整数和一个浮点数打包，格式为'id'，按理来说，i占4位，d占8位，得到的数据应该是12位，但观察到的是16位。后来笔者又用做了一系列测试，结果如下：

>>> struct.calcsize('id')

16

>>> struct.calcsize('iid')

16

>>> struct.calcsize('iiid')

24

>>> struct.calcsize('iiiid')

24

>>> struct.calcsize('iiiiid')

32

>>> struct.calcsize('iiiiiid')

32

当i的个数为奇数时，始终会多计算4位。不知当中有何玄机。为避免这个问题，建议大家将不同类型的数据分批打包，依次写入文件。例如第一次单独写一个i类型数据，第二次单独写入一个d类型数据，得到的大小就是12。

最后，顺便提一下Fortran中二进制文件的读写。在彭国伦的教材中提到，文件的格式有两种：formatted和unformatted，其实还有第三种格式：binary。如果用Fortran程序读取上述Python代码生成的二进制文件，使用unformatted时，无法正常读出，需要写成binary格式：

program main

implicit none

integer*4 a,b

open(unit=10,file='test.bin',form='binary')

read(10) a,b

write(*,*) a,b

end

注意在Python中是以4位存储的整数，因此在Fortran中要声明4位的整数来读取。