python中、文件最重要的功能是_python文件处理--笔记

之前一段时间一直在忙着写毕业论文，盲评搞得人心惶惶，以致于都没有看书，最近需要补上前面落下的东西。

《Python3程序开发指南》

1、二进制数据的读写

二进制格式通常是占据磁盘空间最小、保存与加载速度最快的数据格式。最简单的方法是使用pickle。

pickle模块主要提供了数据持久化功能

序列化可使用dumps()函数，逆序列化使用loads()函数，将文件中的数据解析为一个python对象。

现有5种版本的pickle模块，分别为0到4

pickle模块提供的常量：

pickle.HIGHEST_PROTOCOL：整型，最高协议版本

pickle.DEFAULT_PROTOCOL：序列化中默认的协议版本，可能会低于HIGHEST_PROTOCOL，目前默认协议为3

pickle模块提供的函数：

1、pickle.dump(obj,file,protocol=None,*,fix_imports=True)

将对象obj保存到文件file中，等同于Pickler(file,protocol).dump(obj)

参数说明：

obj：将要封装的对象

protocol：整型，协议版本号，支持的版本号为0到HIGHEST_PROTOCOL，如果没有指定，默认为DEFAULT_PROTOCOL。如果指定为负数，则为HIGHEST_PROTOCOL。

file：obj将要写入的文件对象，file必须以二进制可写模式打开，即“wb”，该file参数必须有write()方法，该方法能够接受单字节的参数。

fix_imports：如果fix_imports为true，并且协议版本小于3，那么pickle将python3对应到python2

2、pickle.dumps(obj)

以字节对象形式返回封装的对象，不需要写入文件中

3、pickle.load(file,*,fix_import=True,encoding="ASCII",errors="strict")

从file中读取一个字符串，并将它重构为原来的python对象

file：必须以二进制可读模式打开，即“rb“，其余为可选参数，有read()和readline()接口

等同于Unpickler(file).load()

4、pickle.loads(bites_object)

从字节对象中读取被封装的对象，并返回pickle模块可能出现的三种异常

1、 带可压缩的Pickle

Pickle提供了从python程序中保存数据（或向python程序加载数据）的最简单方法。Pickle没有安全机制（没有机密、没有数字签名）。之所以有安全问题，是因为pickle可以导入任意模块并调用任意函数，因此来自不可信源的pickle中的数据可能会被恶意操作。但pickle是处理ad hoc数据的理想选择，针对个人用途的程序更是如此。

pickle.dump(obj,file[,protocol])

如果要求压缩，可使用gzip.open()打开文件，否则使用内置的open()函数。

二进制模式pickling数据时，必须使用“二进制写”模式（wb）。

错误处理选择的方式：只要发生错误立即向用户报告，并向调用者返回一个布尔值，以表示成功还是失败。

finally语句块确保文件被关闭

import pickle

import gzip

def export_pickle(self,filename,compress=False):

fh = None

try:

if compress:

fh = gzip.open(filename,"wb")

else:

fh = open(filename,"wb")

pickle.dump(self,fh,pickle.HIGHEST_PROTOCOL)

return True

except (EnvironmentError,pickle.PickleError) as err:

print("{0}:export error:{1}".format(os.path.basename(sys.argv[0]),err))

return False

finally:

if fh is not None:

fh.close()

2、struct模块

在python中，需要处理二进制数据，比如在存取文件、socket通信时，这时可以通过struct模块来实现，对此，我翻阅了一些很不错的博客，就不在此班门弄斧。后面会转载一些来学习。

struct模块中，最重要的三个函数：pack(), unpack(), calcsize()。还提供了struct.Struct()类。

struct.pack()：

参数：一个struct格式化字符串，一个或多个值

返回：一个bytes对象，其中存放的是按照该格式规范表示的所有这些参数值。

struct.unpack():

参数：一个格式化规范，以及一个bytes或bytearray对象

返回：一个元组，其中的值原本使用该格式规范进行了打包

>>> import struct

>>> data=struct.pack("<2h",11,-9)

>>> data

'\x0b\x00\xf7\xff'

>>> items=struct.unpack("<2h",data)

>>> items

(11, -9)

>>>

struct.calcsize()：

参数：以一个数规范为参数

返回：使用该格式规范的struct所占据的字节数。

格式规范也可以通过创建一个struct.Struct()对象存储（将该格式规范作为其参数），而struct.Struct()对象的大小则由其size属性指定。

>>> TWO_SHORTS = struct.Struct("<2h")

>>> data=TWO_SHORTS.pack(11,-9)

>>> items=TWO_SHORTS.unpack(data)

>>> data

'\x0b\x00\xf7\xff'

>>> items

(11, -9)