工具篇-csv文件读写

最新推荐文章于 2024-07-22 17:33:01 发布

hugestjj

最新推荐文章于 2024-07-22 17:33:01 发布

阅读量499

点赞数

分类专栏： ml 文章标签： python 数据

本文链接：https://blog.csdn.net/kkoyyo/article/details/79075421

版权

ml 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

目的：在Python处理数据的很多时候，需要加载文件，通常还是csv格式，希望加载之后是个二维列表/数组，这样才方便处理；
1. 简单的api能够导入数据到内存中
2. 能够适应复杂&大数据量机器学习的场景

Pandas

csv

import pandas as pd;
import numpy as np;
df = pd.read_csv("FILE_NAME");
np.array(df);

Tensorflow

queue

todo

TFRecords

填入&保存Feature

with tf.python_io.TFRecordWriter(FILE_NAME) as writer:
  for data in balabla:
    feature_data = GET_DATA()
    example = tf.train.Example(
      features = tf.train.Features(
        feature={'key_1':tf.train.Feature(int64_list=tf.train.Int64List(value=[value])),
                 'key_2':tf.train.Feature(int64_list=tf.train.BytesList(value=[value]))}))
    writer.write(example.SerializeToString())

加载&读取Feature

filename_queue = tf.train.string_input_producer([filename])
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
features = tf.parse_single_example(serialized_example,
           features = {'key_1': tf.FixedLenFeature([], tf.int64)
                       'key_2': tf.FixedLenFeature([], tf.string)})
feas = tf.decode_raw(features['key_1'], tf.uint8)