在解决该问题之前,首先需要明白Python3.x 与Python2.x 在编码上有很大区别:
其中python2.x的默认编码是ascii,Python 3 默认编码是utf-8编码。
Python在进行编码方式之间的转换时,会将 unicode 作为“中间编码”,但 unicode 最大只有 128 那么长,所以这里当尝试将 ascii 编码字符串转换成"中间编码" unicode 时由于超出了其范围,就报出了如上错误。
解决方法:
将train,val, test = pickle.load(f) 改成:
train, val , test = pickle.load(f, encoding = 'bytes')
后来总结发现,加载数据时,由于数据不同编码方式,需要有相应的解码方式
原因是我的程序中数据使用的是mnist.pkl 文件格式
pickle模块是以二进制的形式序列化后保存到文件中(保存文件的后缀为”.pkl”)
因此在使用任何数据前,需要清楚地了解该数据的编码方式!
关于数据编码的类型可参考该文章:字符,字节和编码