TensorFlow Dataset下载速度慢手动下载替换数据集

简介

tensorflow_datasets 是一组现成的数据集集合，让用户能方便地使用，它会把数据整理成 TFRecord 格式，让 TensorFlow 高效读取和处理数据，进行大规模训练。

然而下载速度实在感人，不像 Keras 下载数据集，手动下好存放在 C:\Users\Administrator\.keras\datasets 即可

tensorflow_datasets 存放路径：

• Windows：C:\Users\Administrator\tensorflow_datasets
• Linux：/home/<用户名>/tensorflow_datasets/

安装

pip install tensorflow-datasets --upgrade

Google Colaboratory

用 Chrome 打开 Google Colaboratory，登陆账号

import tensorflow_datasets as tfds

examples, metadata = tfds.load('mnist', with_info=True, as_supervised=True)

根据提示移动到对应文件夹

%cd /root/tensorflow_datasets/mnist/3.0.1

打包

!tar czvf download.tar.gz *

下载

from google.colab import files

files.download('download.tar.gz')

手动新建文件夹并解压

TODO：Python设置代理

TODO：解析原数据集代码

如 mnist.py 位于 C:\Users\Administrator\AppData\Local\Programs\Python\Python36\Lib\site-packages\tensorflow_datasets\image_classification，也可以在 GitHub 上查看

自行执行相同过程

参考文献

1. TensorFlow Datasets
2. tensorflow_datasets 如何load本地的数据集？
3. 如何让tensorflow_datasets加载本地下载的数据集