input file读取本地图片_读取数据流程

f8ce69ae5fe92b91c8fd14ad778eea47.gif

该过程可以分为三步

构造文件明队列

把文件名队列读取进来,并随即打乱shufflu,即从filename到Filename到FilenameQueeue阶段

读取与解码

使用读取器从上一步拿到的文件名队列,从文件中读取数据,按照一个样本为单位读取的,图片,文本,的编码不同,使用的解码器不同。

批处理阶段

构建批次即batchsize,tf.train.bath()或者tf.train.shuffle_batch()

另一种tfrecord的数据处理形式

对于数据容量不太大的数据集,将其整体转化为Tensorflow专用的格式输入到模型中进行训练是一个非常好的方法,对于某些容量非常庞大的工程,而且往往原始数据集和转换后的数据集容量过大,使得加载和读取耗费更多的资源,从而引起良一系列问题
因此在工程中,除了直接将数据集转化成专用的数据格式之外,还有一种常用的方法就是将需要读取的数据地址集转换成专用的格式,每次直接在其中读取生成batch后的地址,将地址读取后直接在模型每部生成包含25个图片格式的TFRecord。代码如下
def 
在这里 get_batch(image_list,label_list.img_width,img_height,batch_size,capacity)函数中有6个参数,主要说capacity分别是每次生成的图片数量和内存中存储的最大数据容量,这里可根据不同硬件配置制定。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值