tensorflow读取csv文件---My way of AI 16

本文详细介绍了在TensorFlow中读取CSV文件的流程,包括构造文件队列、选择合适的文件阅读器API、解码文件内容、进行批处理以及开启线程。重点讲解了tf.train.string_input_producer、tf.TextLineReader、tf.decode_csv等关键函数的用法,以实现高效的数据读取和预处理。
摘要由CSDN通过智能技术生成

流程

  1. 构造一个文件队列
  2. 读取文件内容,csv文件默认读取一行,图片默认读取一张,二进制文件默认读取指定byte
  3. 解码decode
  4. 批处理
  5. 主线程去样本训练数据

构造队列API

#*tf.train.string_input_producer(string_tensor,
,shuffle=True)
将输出字符串(例如文件名)输入到管道队列
string_tensor 含有文件名的1阶张量
num_epochs:过几遍数据,默认无限过数据
return:具有输出字符串的队列
*#

根据文件类型选择对应的文件阅读器API

*class tf.TextLineReader
阅读文本文件逗号分隔值(CSV)格式,默认按行读取
return:读取器实例
tf.FixedLengthRecordReader(record_bytes)
要读取每个记录是固定数量字节的二进制文件
record_bytes:整型,指定每次读取的字节数
return:读取器实例
tf.TFRecordReader
读取TfRecords文件
*

文件内容解码器API

*由于从文件中读取的是字符串,需要函数去解析这些字符串到张量
tf.decode_csv(records,record_defaults=None,field_delim = None,name = None)
将CSV转换为张量,与tf.TextLineR

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值