tensorflow读取数据之CSV格式

本文介绍如何使用TensorFlow从CSV文件中边读边输入数据,包括读取、解析和批处理的过程,并强调了在处理CSV数据时的关键点,如`record_defaults`的设置、数据类型匹配和`tf.decode_csv`的使用。
摘要由CSDN通过智能技术生成

tensorflow要想用起来,首先自己得搞定数据输入。官方文档中介绍了几种,1.一次性从内存中读取数据到矩阵中,直接输入;2.从文件中边读边输入,而且已经给设计好了多线程读写模型;3.把网络或者内存中的数据转化为tensorflow的专用格式tfRecord,存文件后再读取。


其中,从文件中边读边输入,官方文档举例是用的CSV格式文件。我在网上找了一份代码,修改了一下,因为他的比较简略,我就补充一下遇到的问题

先贴代码


#coding=utf-8import tensorflow as tf

import numpy as np

defreadMyFileFormat(fileNameQueue):  

reader = tf.TextLineReader()  

key, value = reader.read(fileNameQueue)  

record_defaults = [[1], [1], [1]]  

col1, col2, col3 = tf.decode_csv(value, record_defaults = record_defaults)  

features = tf.pack([col1, col2])  

label = col3  

return features, label

definputPipeLine(fileNames = ["1.csv","2.csv"], batchSize =4, numEpochs = None):  

fileNameQueue = tf.train.string_input_producer(fileNames, num_epochs = numEpochs)  

example, label = readMyFileFormat(fileNameQueue)  

min_after_dequeue =8  

capacity = min_after_dequeue +

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值