使用tensorflow读取csv文件

在进行机器学习的数据集的导入时，如果是matlab平台，可以直接将数据拖进去，但是tensorflow下就没这么简单了。tensorflow考虑到数据导入内存的时候，只有cpu工作，而此时的GPU处于空闲状态，所有它采用多线程的机制进行读取。

我要读入的csv文件中的数据如下，一共有200行，每行有5列，最后一列为标签值。

0.29767	0.23241	0.31877	0.23645	0.2304	2.9
0.27752	0.20366	0.30957	0.2028	0.19555	3.5
0.23717	0.19021	0.29307	0.204	0.18885	2.5
0.29652	0.26606	0.33647	0.267	0.24815	2.8
0.24267	0.16881	0.27842	0.1771	0.1827	3.9
0.21022	0.17066	0.25822	0.1704	0.1815	3.7
0.21147	0.18656	0.23377	0.1643	0.16865	4.7
0.17662	0.16451	0.21177	0.16795	0.1558	5.2
0.18887	0.15536	0.19827	0.1637	0.17725	5
0.19312	0.13826	0.21422	0.1374	0.135	5.8
0.20352	0.17371	0.21662	0.15755	0.17355	4.6

读入的程序：

#2021.10.11 HIT ATCI LZH
#tensorflow读取csv文件
#
import tensorflow as tf  
# 生成一个先入先出队列和一个QueueRunner,生成文件名队列 
DATA_FILE = ['F:\\vscode\\kiwi.csv']
BATCH_SIZE = 10 #批训练数量
NUM_FEATURES = 6 #特征数，其实就是指定了数据的列数

def read_batch(filenames,batchsize):
    
    #filenames =  DATA_FILE
    filename_queue = tf.train.string_input_producer(filenames, shuffle=False) #产生文件名队列
    # 定义Reader  
    reader = tf.TextLineReader() #文件读取API，阅读CSv文件，按行读取
    key, value = reader.read(filename_queue)   #根据文件名队列读取，按一行读取，key:行号 value:该行的内容
    # 定义Decoder  
    record_defaults = [[0.0] for _ in range(NUM_FEATURES)] #指定每一列的类型，0.0表示每一列为浮点型，当该值缺失的时候，用此数字填充
    data= tf.decode_csv(value,record_defaults=record_defaults) #将CSV类型的数据转化为张量，有几列就用几个参数接受 
    
    features=data[0:NUM_FEATURES-1] #这里要根据自己的文件的数据排列方式进行调整
    #features=(features-tf.reduce_min(features))/(tf.reduce_max(features)-tf.reduce_min(features))
    label=data[-1] #最后一列是标签
    #label=tf.cast(label,dtype=tf.uint8)
    #label=tf.one_hot(label,2)
    features_batch, label_batch = tf.train.batch([features,label], batch_size=batchsize, capacity=3*batchsize,)  
    return features_batch, label_batch
#测试是否正确读取
if __name__=='__main__':
    #filenames = [DATA_FILE]
    example_batch, label_batch=read_batch(DATA_FILE,BATCH_SIZE)    
    # 运行Graph  
    with tf.Session() as sess:  
        sess.run([tf.global_variables_initializer(),tf.local_variables_initializer()])
        coord = tf.train.Coordinator()  #创建一个协调器，管理线程  
        threads = tf.train.start_queue_runners(coord=coord)  #开启线程操作
        for i in range(5):  
            e_val,l_val = sess.run([example_batch, label_batch])   #获取数据
            print(e_val.shape,l_val)   #打印数据及标签
        coord.request_stop() #结束子线程
        coord.join(threads)  #等待结束子线程

大家在使用的时候要根据自己的数据的实际情况进行修改，例如标签值所在的列，批训练处理样本数也就是在进行模型训练的时候一次要读取的数据量。