Tensorflow 笔记 XIII——“百无聊赖”：深挖 mnist 数据集与 fashion-mnist 数据集的读取原理，经典数据的读取你真的懂了吗？

最新推荐文章于 2021-08-11 19:38:09 发布
最新推荐文章于 2021-08-11 19:38:09 发布
阅读量1.6k 收藏 10
点赞数 1
分类专栏： TensorFlow基础笔记 文章标签： python 深度学习 人工智能 tensorflow fashion-mnist
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39567427/article/details/106305589
版权

文章目录

数据集简介

介绍两种深度学习极其经典的数据集，每一个深耕深度学生的“玩家”都一定有所耳闻，但是我们往往深耕神经网络的算法原理，前向传播与反向传播，那么这些优秀的数据集是如何集成出来，又如何被读取的呢，知道菜的味道，却不闻饭香太不公平了吧，数据集制作也是一大学问，已经封脚，今天就来会会这被忽略的数据集

在这里插入图片描述

Mnist

图

出门右转

放个图，以免此块太空虚，简单来说就是一个“多人运动”，多人手写阿拉伯0~10的数据集，里面包含图片与标签，详情点击这里【Tensorflow 笔记 Ⅳ——mnist手写数字识别】瞧一波，不亏的，当然强中强，归官网，猛戳这里 THE MNIST DATABASE of handwritten digits

Fashion-Mnist

名如其集，肯定要比 Mnist Fashion 一些，多达几万件的衣服裤子，能不 Fashion 都难，具体的数据集描述与其他信息参见 Fashion-MNIST，这里多有摘抄。【哎越来越懒了，毕竟这种介绍的东西不是我们的心头菜┗|｀O′|┛ 嗷~~】

在这里插入图片描述
Fashion-MNIST是一个替代MNIST手写数字集的图像数据集。 它是由Zalando（一家德国的时尚科技公司）旗下的研究部门提供。其涵盖了来自10种类别的共7万个不同商品的正面图片。Fashion-MNIST的大小、格式和训练集/测试集划分与原始的MNIST完全一致。60000/10000的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。

这个数据集的样子大致如上图，embeding 动图在此
在这里插入图片描述

数据集制作需求来源

经典的MNIST数据集包含了大量的手写数字。十几年来，来自机器学习、机器视觉、人工智能、深度学习领域的研究员们把这个数据集作为衡量算法的基准之一。你会在很多的会议，期刊的论文中发现这个数据集的身影。实际上，MNIST数据集已经成为算法作者的必测的数据集之一。有人曾调侃道：“如果一个算法在MNIST不work, 那么它就根本没法用；而如果它在MNIST上work, 它在其他数据上也可能不work！”

Fashion-MNIST的目的是要成为MNIST数据集的一个直接替代品。作为算法作者，你不需要修改任何的代码，就可以直接使用这个数据集。Fashion-MNIST的图片大小，训练、测试样本数及类别数与经典MNIST完全相同。

写给专业的机器学习研究者

我们是认真的。取代MNIST数据集的原因由如下几个：

获取数据

很多的机器学习库已经内置了Fashion-MNIST数据或接口，方便你直接使用。

你可以使用以下链接下载这个数据集。Fashion-MNIST的数据集的存储方式和命名与经典MNIST数据集完全一致。

名称描述样本数量文件大小链接MD5校验和
train-images-idx3-ubyte.gz训练集的图像60,00026 MBytes下载8d4fb7e6c68d591d4c3dfef9ec88bf0d
train-labels-idx1-ubyte.gz训练集的类别标签60,00029 KBytes下载25c81989df183df01b3e8a0aad5dffbe
t10k-images-idx3-ubyte.gz测试集的图像10,0004.3 MBytes下载bef4ecab320f06d8554ea6380940ec79
t10k-labels-idx1-ubyte.gz测试集的类别标签10,0005.1 KBytes下载bb300cfdad3c16e7a12a480ee83cd310

或者，你可以直接克隆这个代码库。数据集就放在data/fashion下。这个代码库还包含了一些用于评测和可视化的脚本。

git clone git@github.com:zalandoresearch/fashion-mnist.git

类别标注

每个训练和测试样本都按照以下类别进行了标注：

标注编号描述
0T-shirt/top（T恤）
1Trouser（裤子）
2Pullover（套衫）
3Dress（裙子）
4Coat（外套）
5Sandal（凉鞋）
6Shirt（汗衫）
7Sneaker（运动鞋）
8Bag（包）
9Ankle boot（踝靴）

读取原理

从上面给的 Mnist 官网地址进入，这里的信息都从官网地址所获取而来
Mnist 数据集与 Fashion-Mnist 数据集的命名规范，格式，压缩类型等等，基本除了大小不一样，内部存储的数据不同，其它基本是一样的，包括内存地址中一些关键数据的相对地址都是相同的，所以它们两个数据集的读取方式基本一致【简直完全一致好不好】，所以我们可以从 mnist 数据集读取原理来读取 fashion-mnist 数据集
在这里插入图片描述

香吗？象

原理获取

一共有四个文件

train-images-idx3-ubyte: training set images
train-labels-idx1-ubyte: training set labels
t10k-images-idx3-ubyte:  test set images
t10k-labels-idx1-ubyte:  test set labels

训练集 60000，测试集 10000
官网对这 4 个文件列举了 如下信息，目的就是说明如何读取这些数据

TRAINING SET LABEL FILE (train-labels-idx1-ubyte)

[offset][type][value][description]
000032 bit integer0x00000801(2049)magic number (MSB first)
000432 bit integer60000number of items
0008unsigned byte??label
0009unsigned byte??label
…………
xxxxunsigned byte??label

TRAINING SET IMAGE FILE (train-images-idx3-ubyte)

[offset][type][value][description]
000032 bit integer0x00000803(2051)magic number
000432 bit integer60000number of images
000832 bit integer28number of rows
001232 bit integer28number of columns
0016unsigned byte??pixel
0017unsigned byte??pixel
…………
xxxxunsigned byte??pixel

TEST SET LABEL FILE (t10k-labels-idx1-ubyte)

[offset][type][value][description]
000032 bit integer0x00000801(2049)magic number (MSB first)
000432 bit integer10000number of items
0008unsigned byte??label
0009unsigned byte??label
…………
xxxxunsigned byte??label

TRAINING SET IMAGE FILE (train-images-idx3-ubyte)

[offset][type][value][description]
000032 bit integer0x00000803(2051)magic number
000432 bit integer10000number of images
000832 bit integer28number of rows
001232 bit integer28number of columns
0016unsigned byte??pixel
0017unsigned byte??pixel
…………
xxxxunsigned byte??pixel

四个表格中的 [offset] 就是数据的偏移量，我们发现图像数据与标签数据的 magic number 分别是 0x00000801 与 0x00000803，译成十进制就是 2049 与 2051，并且在 [offset] 的数据可以发现，图像数据与标签数据存储的位置分别是 0016 与 0008【例如对于训练的图像数据 [offset]=0004 的位置存储为数据量即 60000 张图】，因此 2049，2051，8，16就成了读取数据的关键，在代码中我们将应用 2049 与 2051 作为读取判断的先决条件，从 8，16 的 [offset] 处读取数据

最后官网还有一段对魔法函数的说明：

EnglishChinese
The magic number is an integer (MSB first). The first 2 bytes are always 0.
The third byte codes the type of the data:
0x08: unsigned byte
0x09: signed byte
0x0B: short (2 bytes)
0x0C: int (4 bytes)
0x0D: float (4 bytes)
0x0E: double (8 bytes)		magic number是整数（MSB在前）。前2个字节始终为0。
第三个字节编码数据的类型：
0x08：无符号字节
0x09：有符号字节
0x0B：short 类型（2个字节）
0x0C：整型 int（4个字节）
0x0D：浮点型 float（4个字节）
0x0E：双精度 double 型（8个字节）

gzip使用

由于压缩格式为 .gz 格式，所以我们需要使用 gzip 来管理压缩包，因此我们需要解压文件，再从解压的文件中获取偏移量 [offset]，魔法数字 magic number 来获取数据。gzip示例如下：
demo 内容为 how to use gzip，是一个去掉后缀的文本文件，当然加上后缀也无所谓
压缩

import gzip

with open('gzip_demo/demo', 'rb') as plain_file:
    with gzip.open('gzip_demo/demo.gz', 'wb') as zip_file:
        zip_file.writelines(plain_file)

解压

with gzip.open('gzip_demo/demo.gz') as g:
    print('读取 gz 文件:', g.read().decode('utf-8'))

字节存储顺序

字节存放顺序分为大尾存储（big endian）与小尾存储（little endian），定义如下：

大尾存储小尾存储
数据的高字节存放在低地址就是大尾数据的高字节存放在高地址的就是小尾
大尾存放时：
偏移地址 存放内容
0x0000 0x12
0x0001 0x34		小尾存放：
偏移地址 存放内容
0x0000 0x34
0x0001 0x12

在 numpy 中由此函数 numpy.dtype.newbyteorder 可以管理存储顺序，官网说明参见这里【English Version，中文版本】

•'S'-将数据类型从当前端切换到另一端
•'<'，'L'-小尾数
•“>”，“B”-大尾数法
•'='，'N'-本机顺序
•''，'I'-忽略（不更改字节顺序）
从上面四个 gz 文件的表格可知 [offset] 越小，存储的 [type] 越大，所以采用大尾存放机制，所以在文件读取代码中，我们将采取 np.dtype(np.uint32).newbyteorder('>') 进行控制

源码开干

文件列表说明

在父目录 dataset_download 文件夹下存在如下两个文件加，里面分别存放 mnist 数据集 与 fashion-mnist 数据集
在这里插入图片描述

模块导入

import tensorflow as tf
import gzip
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
import matplotlib.pyplot as plt
import os

tf.__version__

'1.15.2'

gzip 使用

with open('gzip_demo/demo', 'rb') as plain_file:
    with gzip.open('gzip_demo/demo.gz', 'wb') as zip_file:
        zip_file.writelines(plain_file)

with gzip.open('gzip_demo/demo.gz') as g:
    print('读取 gz 文件:', g.read().decode('utf-8'))

读取 gz 文件: how to use gzip

数据读取方式一

官网读取方式

mnist = input_data.read_data_sets('./dataset_download/mnist/', one_hot=False)

print('train images shape:', mnist.train.images.shape,
      '\ntrain labels shape:', mnist.train.labels.shape)

plt.imshow(mnist.train.images[0].reshape(28, 28), cmap='binary')
plt.title(str(mnist.train.labels[0]))

plt.show()

Extracting ./dataset_download/mnist/train-images-idx3-ubyte.gz
Extracting ./dataset_download/mnist/train-labels-idx1-ubyte.gz
Extracting ./dataset_download/mnist/t10k-images-idx3-ubyte.gz
Extracting ./dataset_download/mnist/t10k-labels-idx1-ubyte.gz
train images shape: (55000, 784) 
train labels shape: (55000,)

在这里插入图片描述

可以利用 fake_data=True 来 返回空列表数据

mnist = input_data.read_data_sets('./dataset_download/mnist/', fake_data=True, one_hot=False)
print('train images:', mnist.train.images,
      '\ntrain labels:', mnist.train.labels,
      '\nvalidation images:', mnist.validation.images,
      '\nvalidation labels:', mnist.validation.labels,
      '\ntest images:', mnist.test.images,
      '\ntest labels:', mnist.test.labels)

train images: [] 
train labels: [] 
validation images: [] 
validation labels: [] 
test images: [] 
test labels: []

数据获取方式二

定义大尾（big endian）存放方式

def read32(bytestream):
    dt = np.dtype(np.uint32).newbyteorder('>')
    
    return np.frombuffer(bytestream.read(4), dtype=dt)[0]

将 magic number=2051 作为图像文件在读取时的判断条件，读取的数据通过 data = np.frombuffer(buf, dtype=np.uint8) 转换成 numpy 数组，这是只有一个维度的数据，通过 data = data.reshape(num_images, rows, cols, 1) 获取 28×28 形式的数据

def extract_images(f):

    print('Extracting', f.name)
    with gzip.GzipFile(fileobj=f) as bytestream:
        magic = read32(bytestream)
        if magic != 2051:
            raise ValueError('Invalid magic number %d in MNIST image file: %s' %
                             (magic, f.name))
        num_images = read32(bytestream)
        rows = read32(bytestream)
        cols = read32(bytestream)
        buf = bytestream.read(rows * cols * num_images)
        data = np.frombuffer(buf, dtype=np.uint8)
        data = data.reshape(num_images, rows, cols, 1)

        return data

one_hot 编码
dense_to_one_hot() 是官网使用的独热编码函数，one_hot() 则是重新定义的独热编码函数

def dense_to_one_hot(labels_dense, num_classes):
    num_labels = labels_dense.shape[0]
    index_offset = np.arange(num_labels) * num_classes
    labels_one_hot = np.zeros((num_labels, num_classes))
    labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1

    return labels_one_hot

from sklearn.preprocessing import OneHotEncoder

def one_hot(labels):
    encoder = OneHotEncoder(sparse=False)

    one_hot = [[0],[1],[2],[3],[4],[5],[6],[7],[8],[9]]
    encoder.fit(one_hot)
    labels_reshape = labels.reshape(-1, 1)
    labels_onehot = encoder.transform(labels_reshape)
    
    return labels_onehot

将 magic number=2049 作为标签文件在读取时的判断条件
这里在 if not_hot: 判定中使用 one_hot() 函数代替 dense_to_one_hot()

def extract_labels(f, one_hot=False):

    print('Extracting', f.name)
    with gzip.GzipFile(fileobj=f) as bytestream:
        magic = read32(bytestream)
        if magic != 2049:
            raise ValueError('Invalid magic number %d in MNIST label file: %s' %
                             (magic, f.name))
        num_items = read32(bytestream)
        buf = bytestream.read(num_items)
        labels = np.frombuffer(buf, dtype=np.uint8)

        if one_hot:
            return one_hot(labels)

        return labels

读取单个图像文件与单个标签文件
也可以不导入 gfile 包，将下面的 with 结构如下调换也能运转

with open(local_file, 'rb') as f:
    train_images = extract_images(f)

from tensorflow.python.framework import dtypes
from tensorflow.python.platform import gfile

def read_data_sets(one_hot=False,
                   dtype=dtypes.float32,
                   reshape=True,
                   seed=None):

    local_image_file = 'dataset_download/mnist/train-images-idx3-ubyte.gz'
    with gfile.Open(local_image_file, 'rb') as f:
        train_images = extract_images(f)
    
    local_label_file = 'dataset_download/mnist/train-labels-idx1-ubyte.gz'
    with gfile.Open(local_label_file, 'rb') as f:
        train_labels = extract_labels(f)

    return train_images, train_labels

train_images, train_labels = read_data_sets()

Extracting dataset_download/mnist/train-images-idx3-ubyte.gz
Extracting dataset_download/mnist/train-labels-idx1-ubyte.gz

plt.imshow(train_images[0].reshape(28, 28), cmap='gray')
plt.title(train_labels[0], fontsize=20)
plt.axis('off')

plt.show()

在这里插入图片描述

train_labels_onehot = one_hot(train_labels)
train_labels_onehot

array([[0., 0., 0., ..., 0., 0., 0.],
       [1., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 0., 0.],
       ...,
       [0., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 1., 0.]])

train_labels_dense_to_one_hot = dense_to_one_hot(train_labels, 10)
train_labels_dense_to_one_hot

array([[0., 0., 0., ..., 0., 0., 0.],
       [1., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 0., 0.],
       ...,
       [0., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 0., 0.],
       [0., 0., 0., ..., 0., 1., 0.]])

获取整个Mnist训练集、测试集与验证集

def get_dataset(one_hot=False,
                dtype=dtypes.float32,
                reshape=True,
                validation_size=5000,
                seed=None):

    train_image_file = 'dataset_download/mnist/train-images-idx3-ubyte.gz'
    with gfile.Open(train_image_file, 'rb') as f:
        train_images = extract_images(f)
    
    train_label_file = 'dataset_download/mnist/train-labels-idx1-ubyte.gz'
    with gfile.Open(train_label_file, 'rb') as f:
        train_labels = extract_labels(f)
        
    test_image_file = 'dataset_download/mnist/t10k-images-idx3-ubyte.gz'
    with gfile.Open(test_image_file, 'rb') as f:
        test_images = extract_images(f)    
        
    test_label_file = 'dataset_download/mnist/t10k-labels-idx1-ubyte.gz'
    with gfile.Open(test_label_file, 'rb') as f:
        test_labels = extract_labels(f)    
    
    validation_images = train_images[:validation_size]
    validation_labels = train_labels[:validation_size]
    train_images = train_images[validation_size:]
    train_labels = train_labels[validation_size:]

    return (train_images, train_labels), (test_images, test_labels), (validation_images, validation_labels)

(train_images, train_labels), (test_images, test_labels), (validation_images, validation_labels) = get_dataset()

Extracting dataset_download/mnist/train-images-idx3-ubyte.gz
Extracting dataset_download/mnist/train-labels-idx1-ubyte.gz
Extracting dataset_download/mnist/t10k-images-idx3-ubyte.gz
Extracting dataset_download/mnist/t10k-labels-idx1-ubyte.gz

fig = plt.figure(figsize=(20, 5))
image_list = [train_images[0].reshape(28, 28),
              test_images[0].reshape(28, 28),
              validation_images[0].reshape(28, 28)]

label_list = [str(train_labels[0]),
              str(test_labels[0]),
              str(validation_labels[0])]

for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.imshow(image_list[i], cmap='gray')
    plt.title(label_list[i], fontsize=20)
    plt.axis('off')

plt.show()

在这里插入图片描述

获取整个 Fashion-Mnist 训练集、测试集与验证集

def get_dataset(one_hot=False,
                dtype=dtypes.float32,
                reshape=True,
                validation_size=5000,
                seed=None):

    train_image_file = 'dataset_download/fashion_mnist/train-images-idx3-ubyte.gz'
    with gfile.Open(train_image_file, 'rb') as f:
        train_images = extract_images(f)
    
    train_label_file = 'dataset_download/fashion_mnist/train-labels-idx1-ubyte.gz'
    with gfile.Open(train_label_file, 'rb') as f:
        train_labels = extract_labels(f)
        
    test_image_file = 'dataset_download/fashion_mnist/t10k-images-idx3-ubyte.gz'
    with gfile.Open(test_image_file, 'rb') as f:
        test_images = extract_images(f)    
        
    test_label_file = 'dataset_download/fashion_mnist/t10k-labels-idx1-ubyte.gz'
    with gfile.Open(test_label_file, 'rb') as f:
        test_labels = extract_labels(f)    
    
    validation_images = train_images[:validation_size]
    validation_labels = train_labels[:validation_size]
    train_images = train_images[validation_size:]
    train_labels = train_labels[validation_size:]

    return (train_images, train_labels), (test_images, test_labels), (validation_images, validation_labels)

(train_images, train_labels), (test_images, test_labels), (validation_images, validation_labels) = get_dataset()

Extracting dataset_download/fashion_mnist/train-images-idx3-ubyte.gz
Extracting dataset_download/fashion_mnist/train-labels-idx1-ubyte.gz
Extracting dataset_download/fashion_mnist/t10k-images-idx3-ubyte.gz
Extracting dataset_download/fashion_mnist/t10k-labels-idx1-ubyte.gz
标注编号描述
0T-shirt/top（T恤）
1Trouser（裤子）
2Pullover（套衫）
3Dress（裙子）
4Coat（外套）
5Sandal（凉鞋）
6Shirt（汗衫）
7Sneaker（运动鞋）
8Bag（包）
9Ankle boot（踝靴）
class_dict = {0:'T-shirt', 1:'Trouser', 2:'Pullover', 3:'Dress', 4:'Coat',
              5:'Sandal', 6:'Shirt', 7:'Sneaker', 8:'Bag', 9:'Ankle boot'}

fig = plt.figure(figsize=(20, 5))
image_list = [train_images[0].reshape(28, 28),
              test_images[0].reshape(28, 28),
              validation_images[0].reshape(28, 28)]

label_list = [train_labels[0],
              test_labels[0],
              validation_labels[0]]

for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.imshow(image_list[i], cmap='gray')
    plt.title(class_dict[label_list[i]], fontsize=20)
    plt.axis('off')

plt.show()

在这里插入图片描述

数据获取方式三

本次直接将所有数据串在一起，为后期做 GAN 与 CGAN 做数据读取处理用，直接在函数内部将文件夹定位到 dataset_download，在定义解压函数中，并未使用 magic number 获取数据的方式，而是使用 head_size 即 [offset] 0008 与 0016 的方式获取

def extract_data(filename, num_data, head_size, data_size):
    with gzip.open(filename) as bytestream:
        bytestream.read(head_size)
        buf = bytestream.read(data_size * num_data)
        data = np.frombuffer(buf, dtype=np.uint8).astype(np.float)
    return data

获取 mnist 图像数据，与上面相同，获取的数据只有一个维度，我们需要将其 reshape 成 28×28 的形式

dataset_name = 'mnist'
data_dir = os.path.join("./dataset_download", dataset_name)
train_images_data = extract_data(data_dir + '/train-images-idx3-ubyte.gz', 60000, 16, 28 * 28)

print('train_images_data shape:', train_images_data.shape)

train_images_data shape: (47040000,)

train_images = train_images_data.reshape(-1, 28, 28, 1)
print('train_images shape:', train_images.shape)

train_images shape: (60000, 28, 28, 1)

解析下方 load_data() 创建 one_hot 的方法，以 10 个类别为例，先创建一个暂存的零矩阵，在遍历修改零矩阵的值

a = np.array([5, 4, 8, 6, 3, 2, 4, 7, 8, 1])
a_one_hot = np.zeros((len(a), 10), dtype=float)

for i, label in enumerate(a):
    a_one_hot[i, label] = 1.0

print('a:\n', a,
      '\na_one_hot:', a_one_hot)

a:
 [5 4 8 6 3 2 4 7 8 1] 
a_one_hot: [[0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 1. 0.]
 [0. 0. 0. 0. 0. 0. 1. 0. 0. 0.]
 [0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 1. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 1. 0.]
 [0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]]

def load_data(dataset_name, onehot=False):
    data_dir = os.path.join("./dataset_download", dataset_name)

    data = extract_data(data_dir + '/train-images-idx3-ubyte.gz', 60000, 16, 28 * 28)
    train_images = data.reshape((-1, 28, 28, 1))

    data = extract_data(data_dir + '/train-labels-idx1-ubyte.gz', 60000, 8, 1)
    train_labels = data.reshape((-1))

    data = extract_data(data_dir + '/t10k-images-idx3-ubyte.gz', 10000, 16, 28 * 28)
    test_images = data.reshape((-1, 28, 28, 1))

    data = extract_data(data_dir + '/t10k-labels-idx1-ubyte.gz', 10000, 8, 1)
    test_labels = data.reshape((-1))

    train_images = np.asarray(train_images)
    test_labels = np.asarray(test_labels)

    X = np.concatenate((train_images, test_images), axis=0)
    y = np.concatenate((train_labels, test_labels), axis=0).astype(np.int)

    seed = 547
    np.random.seed(seed)
    np.random.shuffle(X)
    np.random.seed(seed)
    np.random.shuffle(y)
    
    if onehot== True:
        y_vec = np.zeros((len(y), 10), dtype=np.float)
        for i, label in enumerate(y):
            y_vec[i, y[i]] = 1.0
        
        return X, y_vec

    return X, y

读取整个 Mnist 数据集

images, labels = load_data('mnist')
plt.imshow(images[520].reshape(28, 28), cmap='gray')
plt.title(str(labels[520]), fontsize=20)
plt.axis('off')
plt.show()

在这里插入图片描述

读取整个 Fashion-Mnist 数据集

class_dict = {0:'T-shirt', 1:'Trouser', 2:'Pullover', 3:'Dress', 4:'Coat',
              5:'Sandal', 6:'Shirt', 7:'Sneaker', 8:'Bag', 9:'Ankle boot'}

images, labels = load_data('fashion_mnist')
plt.imshow(images[1314].reshape(28, 28), cmap='gray')
plt.title(class_dict[labels[1314]], fontsize=20)
plt.axis('off')
plt.show()

在这里插入图片描述

DeepHao
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fashion-MNIST数据集
12-18
Fashion-MNIST数据集，
beehive.honey:校正表数据
04-08
转储-此目录包含通过mysqldump从数据库检索的xml和sql数据 发布后 阿什通：佛尔根德·斯克里普特（Abtuell zu importierende BL-Nummer anpassen，zB'XIII'）： bl_bibliography_export.sql Compilation_page_...
mnist和fashion mnist区别
RuanChengfeng的博客
06-21 2380
在mnist之后，还出现了一个旨在代替经典mnist数据集的Fashion MNIST，同mnist一样，它也是被用作深度学习程序的“hello world”，而且也是由70k张28*28的图片组成的，它们也被分为10类，有60k被用作训练，10k被用作测试。唯一的区别就是，fashion mnist的十种类别由手写数字换成了服装。 ...
MXNet动手学深度学习：Fashion-MNIST数据集读取
诗人的情人
12-03 2778
文章目录获取数据集数据集简介代码讲解导入包获取数据集与测试集将数值标签转化为文本标签显示图像的函数测试 ```show_fashion_mnist```函数读取小批量代码总结 获取数据集 数据集简介 本节中将使用数据集Fashion-MNIST，Fashion-MNIST 中⼀共包括了 10 个类别，分别为：t-shirt（T 恤）、trouser（裤⼦）、pullover（套衫）、dress（连...
读取本地fashion_mnist数据集
SimonChen
06-11 1571
def load_data(path,files): import gzip import numpy as np paths = [path+ each for each in files ] with gzip.open(paths[0], 'rb') as lbpath: train_labels = np.frombuffer(lbpath.read(), np.uint8, offset=8) with gzip.open(paths[1],
Pytorch基础 Fashion Minst数据集读取
m0_66776925的博客
04-09 988
本章节主要举例说明了数据集读取的问题，针对于trochvision中Fashion Mnist数据集的读写问题； 其中，具体的读取训练集和测试集为： ...
Designing Data-Intensive Applications.pdf
05-30
设计数据敏感型应用，对多种存储组件进行分析，可以用于存储组件的技术选型，深入理解各种存储组件的优劣：Data-intensive applications are pushing the boundaries of what is possible by making use of these ...
Geir Evensen - Data Assimilation_ The Ensemble Kalman Filter-Springer (2006).pdf
10-08
Contents List of symbols . . . . . . . . ....1 Introduction ....2 Statistical definitions ....2.1 Probability density function ....2.2 Statistical moments ....2.2.1 Expected value....2.2.2 Variance ....
佳博打印机GP-5890XIII编程手册
11-12
佳博GP-5890XIII编程手册 打印机编程必备
Mindfuck - Atari XL/XE:在 Forever XIII 演示派对上获得第一名的小演示-开源
06-01
在 Forever XIII (2012) 演示派对上出人意料地获得第一名的小演示
fashion_mnist_数据集
12-16
最近看了一些博客发现原来下载这个数据集的链接都进不去了，于是找别人要了这个数据集发上来，有需要的同学可以下载。这个fashion mnist数据集是mnist数据集的升级版，里面是各种服装的图片。
fashion-mnist数据集
03-31
fashion-mnist深度学习数据集用来做练手最佳，而且是Kaggle上最近mnist系列的数据集，数据集的图像大小和类别与mnist数据一样，非常适合拿来做扩展运用。
FashionMNIST数据集
12-22
Fashion-MNIST是一个替代MNIST手写数字集的图像数据集。 它是由Zalando（一家德国的时尚科技公司）旗下的研究部门提供。其涵盖了来自10种类别的共7万个不同商品的正面图片。Fashion-MNIST的大小、格式和训练集/测试集划分与原始的MNIST完全一致。60000/10000的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。
动手学深度学习 图像分类数据集(一) Fashion-MNIST的获取与查看
Weary_PJ的博客
02-11 2223
动手学深度学习 图像分类数据集(一) Fashion-MNIST的获取与查看 Fashion-MNIST在书中多次使用,本文的内容是讲解如何获取并查看此数据集 1.下载数据集 使用torchvision.datasets来下载数据集 root 用来指定下载后保存的位置(如果已经存在则不会下载) download表示是否要下载 train 表示获取训练数据集或测试数据集 transform代表对图像的操作, 这里仅仅使用了ToTensor()把图像数据转换为Tensor类型 其格式为(C∗H∗WC*H*
tensorflow2.1 MNIST 手写数字识别数据集
qq_46006468的博客
08-11 646
一、查看数据集 代码： import tensorflow as tf from matplotlib import pyplot as plt mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() # 可视化训练集输入特征的第一个元素 plt.imshow(x_train[0], cmap='gray') # 绘制灰度图 plt.show(...
MNIST及FASHION MNIST 数据读取
小猪观察家
05-05 2万+
概要 代码 结果展示概要mnist 数据集链接：http://yann.lecun.com/exdb/mnist/ fashion_mnist:https://github.com/zalandoresearch/fashion-mnist mnist 已经被用烂了，也太简单了。所以现在准备采用fashion_mnist。 两者的读取方式完全一致。这里以fashion mnist作为例子。Fa
基于CNN方式的MNIST-FASHION代码详解及feed数据问题
LEEANG121的博客
12-21 1万+
基于CNN方式的MNIST-FASHION代码详解及输入数据处理问题 Tensorflow中文教程里面有关于MNIST-FASHION的全连接处理方式，但是精度并不高，作者想着用CNN的方式处理一下，看是否能提高精度。工具为jupyter，前面的建模都没有问题，最后feed数据时候出现了形状不匹配问题，至今没找到原因，如有大神指导解决方法，还请不吝赐教。代码如下： 导入需要模块并下载数据 from...
fashion-mnist简介和使用及下载
热门推荐
云中寻雾的博客
06-07 3万+
这个数据集是我们国家的一个大佬制作的，还发表了论文：Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithmspaper 地址：https://arxiv.org/abs/1708.07747 GitHub地址：https://github.com/zalandoresearch/fashion...
毕业论文ssm180基于ssm的线上课程管理系统+jsp论文.doc
最新发布
08-10
包括摘要，背景意义，论文结构安排，开发技术介绍，需求分析，可行性分析，功能分析，业务流程分析，数据库设计，er图，数据字典，数据流图，详细设计，系统截图，测试，总结，致谢，参考文献。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值