tensorflow系列之1：加载数据

本文介绍了如何加载各种数据源，以生成可以用于tensorflow使用的数据集，一般指Dataset。主要包括以下几类数据源：

• 预定义的公共数据源
• 内存中的数据
• csv文件
• TFRecord
• 任意格式的数据文件
• 稀疏数据格式文件

更完整的数据加载方式请参考：https://www.tensorflow.org/tutorials/load_data/images?hl=zh-cn

import numpy as np
import pandas as pd
import tensorflow as tf
from tensorflow import keras
import matplotlib.pyplot as plt
import os
print(tf.__version__)

2.5.0

1、预定义的公共数据源

为了方便使用，tensorflow将一些常用的数据源预先处理好，用户可以直接使用。完整内容请参考：

https://www.tensorflow.org/datasets/overview

tensorflow的数据集有2种类型：

• 简单的数据集，使用keras.datasets.***.load_data()即可以得到数据
• 在tensorflow_datasets中的数据集。

1.1 简单数据集

常见的有mnist，fashion_mnist等返回的是numpy.ndarray的数据格式。

(x_train_all,y_train_all),(x_test,y_test) = keras.datasets.fashion_mnist.load_data()
print(type(x_train_all))
x_train_all[5,1],y_train_all[5]

<class 'numpy.ndarray'>





(array([  0,   0,   0,   1,   0,   0,  20, 131, 199, 206, 196, 202, 242,
        255, 255, 250, 222, 197, 206, 188, 126,  17,   0,   0,   0,   0,
          0,   0], dtype=uint8),
 2)

(x_train_all,y_train_all),(x_test,y_test) = keras.datasets.mnist.load_data()
x_train_all[14,14],y_train_all[14]

(array([  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,  29,
        255, 254, 109,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
          0,   0], dtype=uint8),
 1)

1.2 tensorflow_datasets

tensorflow_datasets提供的数据集。

题外话，由于tensorflow dataset被墙，请自备梯子。若在服务器等无法fq的环境，可以先在其它机器下载好，数据一般会下载到~/tensorflow_datasets目录下，然后把目录下的数据集上传到服务器相同的目录即可。tensorflow会优先检查本地目录是否有文件，再去下载。

通过tfds.load()可以方便的加载数据集，返回值为tf.data.Dataset类型；如果with_info=True，则返回（Dataset,ds_info)组成的tuple。
完整内容可参考：
https://www.tensorflow.org/datasets/api_docs/python/tfds/load

1.3 flower数据集

import tensorflow_datasets as tfds

dataset, info = tfds.load("tf_flowers", as_supervised=True, with_info=True)
class_names = info.features["label"].names
n_classes = info.features["label"].num_classes
dataset_size = info.splits["train"].num_examples

test_set_raw, valid_set_raw, train_set_raw = tfds.load(
    "tf_flowers",
    split=["train[:10%]", "train[10%:25%]", "train[25%:]"],
    as_supervised=True)

# 画一些花朵看一下
plt.figure(figsize=(12, 10))
index = 0
for image, label in train_set_raw.take(9):
    index += 1
    plt.subplot(3, 3, index)
    plt.imshow(image)
    plt.title("Class: {}".format(class_names[label]))
    plt.axis("off")

plt