keras.datasets下载数据集时,由于文件是存储在亚马逊的服务器上,运行代码时一般会报如下错误:
Downloading data from https://s3.amazonaws.com/img-datasets/mnist.npz
---------------------------------------------------------------------------
ConnectionRefusedError Traceback (most recent call last)
...
Exception: URL fetch failure on https://s3.amazonaws.com/img-datasets/mnist.npz: None -- [Errno 111] Connection refused
我的解决办法:由于我的浏览器上配置有vpn,我先用浏览器打开上述网址下载文件,将文件放置在~/.keras/datasets目录下即可。
解决思路:发现上述报错时,由错误信息可以知道,是无法链接到亚马逊的网址导致无法下载数据。我的电脑是ubuntu系统,vpn只有浏览器上可以用,于是我先用浏览器将文件下载下来,这时可以参考keras的源码来解析文件:
f = np.load(path)
x_train, y_train = f['x_train'], f['y_train']
x_test, y_test = f['x_test'], f['y_test']
f.close()
return (x_train, y_train), (x_test, y_test)
而且大部分网上给的解决办法就是这样,但每个数据集的解析办法不是完全一样,这样每次都要重写一次解析文件的代码,比较麻烦,于是我就查看了load_data方法里的get_file方法,该方法是用来下载文件的方法:
@tf_export('keras.utils.get_file')
def get_file(fname,
origin,