我们以一个简单的文件打开和文件读为例说明,pickle读文件时可能存在的编码问题:
使用with结构避免手动的文件关闭操作
import gzip
import pickle
with gzip.open('./mnist.pkl.gz', 'rb') as f:
training_data, validation_data, test_data = pickle.load(f)
如果沿用python 2.x的做法,如上所示,而不做任何编码格式上的设置,直接运行,编译器会提示如下错误:
UnicodeDecodeError: 'ascii' codec can't decode byte 0x90 in position 614: ordinal not in range(128)
在python 3中的解决方法是:
with gzip.open('./mnist.pkl.gz', 'rb') as f:
u = pickle._Unpickler(f)
u.encoding = 'latin1'
training_data, validation_data, test_data = u.load()