有关数据集的那点事儿

@数据集

有关数据集的那点事儿

使用tensorflow过程中，接触到一些数据集的导入方法，在此做记录

案例1：用tf2的tf.keras.datasets导入

例子：mnist数据集

1.1 导入数据集

(x, y), (x_test, y_test) = tf.keras.datasets.fashion_mnist.load_data()

1.2 特征归一化

def preprocess(x, y):

    x = tf.cast(x, dtype=tf.float32) / 255.
    y = tf.cast(y, dtype=tf.int32)
    return x,y

1.3 切片

batchsz = 128

db = tf.data.Dataset.from_tensor_slices((x,y))
db = db.map(preprocess).shuffle(10000).batch(batchsz)

db_test = tf.data.Dataset.from_tensor_slices((x_test,y_test))
db_test = db_test.map(preprocess).batch(batchsz)

未完待续。。。