程序 检测下载数据集
##网站文件本地检测下载
#创建文件夹data
import....
...
WORK_DIRECTORY = 'data'
SOURCE_URL = 'http://yann.lecun.com/exdb/mnist/'
def maybe_download(filename):
"""Download the data from Yann's website, unless it's already here."""
#t.g.e 有,返回truth,无,返回false
if not tf.gfile.Exists(WORK_DIRECTORY):
#创建/覆盖文件夹
tf.gfile.MakeDirs(WORK_DIRECTORY)
#路径拼接
filepath = os.path.join(WORK_DIRECTORY, filename)
if not tf.gfile.Exists(filepath):
#将URL表示的网络对象复制到本地文件
filepath, _ = urllib.request.urlretrieve(SOURCE_URL + filename, filepath)
#获取文本操作句柄,filename是要打开的文件名,mode是以何种方式去读写,将会返回一个文本操作句柄。
with tf.gfile.GFile(filepath) as f:
size = f.size()
print('Successfully downloaded', filename, size, 'bytes.')
return filepath
def main(_):
# Get the data.
train_data_filename = maybe_download('train-images-idx3-ubyte.gz')
train_labels_filename = maybe_download('train-labels-idx1-ubyte.gz')
test_data_filename = maybe_download('t10k-images-idx3-ubyte.gz')
test_labels_filename = maybe_download('t10k-labels-idx1-ubyte.gz')
gfile API介绍
下面将分别介绍每一个gfile API!
2-1)tf.gfile.Copy(oldpath, newpath, overwrite=False)
拷贝源文件并创建目标文件,无返回,其形参说明如下:
oldpath:带路径名字的拷贝源文件;
newpath:带路径名字的拷贝目标文件;
overwrite:目标文件已经存在时是否要覆盖,默认为false,如果目标文件已经存在则会报错
2-2)tf.gfile.MkDir(dirname)
创建一个目录,dirname为目录名字,无返回。
2-3)tf.gf