cPickle.load()产生的相关问题

使用Anaconda3（python3.6.5）

---

1）import cPickle时出现问题

解决：on python3.x cPickle has changed from cPickle to _pickle.

import _pickle as cPickle

2）出现错误: ‘ascii’ codec can’t decode byte 0x8b in position 6: ordinal not in range(128)

• 错误产生代码：

with open(os.path.join(CIFAR_DIR,"data_batch_1"),'rb') as f:
    data = cPickle.load(f)
    print(type(data))

• 网上出现次数很多的解决方案，如：

import sys
default_encodeing = 'gbk'
if sys.getdefaultencoding != default_encoding:
    reload(sys)
    sys.setdefaultencoding(default_encoding)

注：
①在python3中“reload”在模块中，首先需将其导入

from imp import reload

②在python3中sys.setdefaultencoding()已经不再使用。
所以用上述方法仍无法解决。

• 最终解决方法：在cPickle中添加encoding=‘bytes’即可

with open(os.path.join(CIFAR_DIR,"data_batch_1"),'rb') as f:
    data = cPickle.load(f,encoding='bytes')
    print(type(data))

产生原因：
Python在进行编码方式之间的转换时，会将 unicode 作为“中间编码”，但 unicode 最大只有128那么长，所以这里当尝试将 ascii 编码字符串转换成"中间编码" unicode 时由于超出了其范围，就报出了如上错误。
另外，pickle.load()默认解码是以encoding=”ASCII”解码的,而我们要载入的文件并不是以”ASCII”形式存储的。