百度飞桨坚持21天深度学习架构训练营之MNIST手写识别之【数据处理】

最新推荐文章于 2022-07-26 10:34:20 发布
最新推荐文章于 2022-07-26 10:34:20 发布
阅读量329 收藏
点赞数
分类专栏： 百度飞桨 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Nancynoha/article/details/108132546
版权

手写识别之数据处理

概述

数据处理优化
在工业实践中，我们面临的任务和数据环境千差万别，通常需要自己编写适合当前任务的数据处理程序，一般涉及如下三个环节：

  • 读入数据并划分数据集
  • 生成批次数据并训练样本集乱序
  • 校验数据有效性

1.读入数据并划分数据集

在实际应用中，保存到本地的数据存储格式多种多样，如MNIST数据集以json格式存储在本地。
在这里插入图片描述

# 声明数据集文件位置
datafile = './work/mnist.json.gz'
print('loading mnist dataset from {} ......'.format(datafile))
# 加载json数据文件
data = json.load(gzip.open(datafile))
print('mnist dataset load done')
# 读取到的数据区分训练集，验证集，测试集
train_set, val_set, eval_set = data

# 数据集相关参数，图片高度IMG_ROWS, 图片宽度IMG_COLS
IMG_ROWS = 28
IMG_COLS = 28

# 打印数据信息
imgs, labels = train_set[0], train_set[1]
print("训练数据集数量: ", len(imgs))

# 观察验证集数量
imgs, labels = val_set[0], val_set[1]
print("验证数据集数量: ", len(imgs))

# 观察测试集数量
imgs, labels = val= eval_set[0], eval_set[1]
print("测试数据集数量: ", len(imgs))

loading mnist dataset from ./work/mnist.json.gz ......
mnist dataset load done
训练数据集数量:  50000
验证数据集数量:  10000
测试数据集数量:  10000

2.训练样本乱序、生成批次数据

imgs, labels = train_set[0], train_set[1]
print("训练数据集数量: ", len(imgs))
# 获得数据集长度
imgs_length = len(imgs)
# 定义数据集每个数据的序号，根据序号读取数据
index_list = list(range(imgs_length))
# 读入数据时用到的批次大小
BATCHSIZE = 100

# 随机打乱训练数据的索引序号
random.shuffle(index_list)

# 定义数据生成器，返回批次数据
def data_generator():

    imgs_list = []
    labels_list = []
    for i in index_list:
        # 将数据处理成期望的格式，比如类型为float32，shape为[1, 28, 28]
        img = np.reshape(imgs[i], [1, IMG_ROWS, IMG_COLS]).astype('float32')
        label = np.reshape(labels[i], [1]).astype('float32')
        imgs_list.append(img) 
        labels_list.append(label)
        if len(imgs_list) == BATCHSIZE:
            # 获得一个batchsize的数据，并返回
            yield np.array(imgs_list), np.array(labels_list)
            # 清空数据读取列表
            imgs_list = []
            labels_list = []

    # 如果剩余数据的数目小于BATCHSIZE，
    # 则剩余数据一起构成一个大小为len(imgs_list)的mini-batch
    if len(imgs_list) > 0:
        yield np.array(imgs_list), np.array(labels_list)
    return data_generator

训练数据集数量:  50000

打印第一个batch的维度

# 声明数据读取函数，从训练集中读取数据
train_loader = data_generator
# 以迭代的形式读取数据
for batch_id, data in enumerate(train_loader()):
    image_data, label_data = data
    if batch_id == 0:
        # 打印数据shape和类型
        print("打印第一个batch数据的维度:")
        print("图像维度: {}, 标签维度: {}".format(image_data.shape, label_data.shape))
    break

打印第一个batch数据的维度:
图像维度: (100, 1, 28, 28), 标签维度: (100, 1)

3.校验数据有效性

在实际应用中，原始数据可能存在标注不准确、数据杂乱或格式不统一等情况。因此在完成数据处理流程后，还需要进行数据校验，一般有两种方式：

  • 机器校验：加入一些校验和清理数据的操作。
  • 人工校验：先打印数据输出结果，观察是否是设置的格式；再从训练的结果验证数据处理和读取的有效性。

机器校验

如下代码所示，如果数据集中的图片数量和标签数量不等，说明数据逻辑存在问题，可使用 assert 语句校验图像数量和标签数据是否一致。

    imgs_length = len(imgs)

    assert len(imgs) == len(labels), \
          "length of train_imgs({}) should be the same as train_labels({})".format(len(imgs), len(label))

人工校验

人工校验是指打印数据输出结果，观察是否是预期的格式。实现数据处理和加载函数后，我们可以调用它读取一次数据，观察数据的shape和类型是否与函数中设置的一致。

# 声明数据读取函数，从训练集中读取数据
train_loader = data_generator
# 以迭代的形式读取数据
for batch_id, data in enumerate(train_loader()):
    image_data, label_data = data
    if batch_id == 0:
        # 打印数据shape和类型
        print("打印第一个batch数据的维度，以及数据的类型:")
        print("图像维度: {}, 标签维度: {}, 图像数据类型: {}, 标签数据类型: {}".format(image_data.shape, label_data.shape, type(image_data), type(label_data)))
    break

打印第一个batch数据的维度，以及数据的类型:
图像维度: (100, 1, 28, 28), 标签维度: (100, 1), 图像数据类型: <class 'numpy.ndarray'>, 标签数据类型: <class 'numpy.ndarray'>

封装数据读取与处理函数

整套流程实现为：

def load_data(mode='train'):
    datafile = './work/mnist.json.gz'
    print('loading mnist dataset from {} ......'.format(datafile))
    # 加载json数据文件
    data = json.load(gzip.open(datafile))
    print('mnist dataset load done')
   
    # 读取到的数据区分训练集，验证集，测试集
    train_set, val_set, eval_set = data
    if mode=='train':
        # 获得训练数据集
        imgs, labels = train_set[0], train_set[1]
    elif mode=='valid':
        # 获得验证数据集
        imgs, labels = val_set[0], val_set[1]
    elif mode=='eval':
        # 获得测试数据集
        imgs, labels = eval_set[0], eval_set[1]
    else:
        raise Exception("mode can only be one of ['train', 'valid', 'eval']")
    print("训练数据集数量: ", len(imgs))
    
    # 校验数据
    imgs_length = len(imgs)

    assert len(imgs) == len(labels), \
          "length of train_imgs({}) should be the same as train_labels({})".format(len(imgs), len(label))
    
    # 获得数据集长度
    imgs_length = len(imgs)
    
    # 定义数据集每个数据的序号，根据序号读取数据
    index_list = list(range(imgs_length))
    # 读入数据时用到的批次大小
    BATCHSIZE = 100
    
    # 定义数据生成器
    def data_generator():
        if mode == 'train':
            # 训练模式下打乱数据
            random.shuffle(index_list)
        imgs_list = []
        labels_list = []
        for i in index_list:
            # 将数据处理成希望的格式，比如类型为float32，shape为[1, 28, 28]
            img = np.reshape(imgs[i], [1, IMG_ROWS, IMG_COLS]).astype('float32')
            label = np.reshape(labels[i], [1]).astype('float32')
            imgs_list.append(img) 
            labels_list.append(label)
            if len(imgs_list) == BATCHSIZE:
                # 获得一个batchsize的数据，并返回
                yield np.array(imgs_list), np.array(labels_list)
                # 清空数据读取列表
                imgs_list = []
                labels_list = []
    
        # 如果剩余数据的数目小于BATCHSIZE，
        # 则剩余数据一起构成一个大小为len(imgs_list)的mini-batch
        if len(imgs_list) > 0:
            yield np.array(imgs_list), np.array(labels_list)
    return data_generator

下面定义一层神经网络，利用定义好的数据处理函数，完成神经网络的训练

#数据处理部分之后的代码，数据读取的部分调用Load_data函数
# 定义网络结构，同上一节所使用的网络结构
class MNIST(fluid.dygraph.Layer):
    def __init__(self):
        super(MNIST, self).__init__()
        self.fc = Linear(input_dim=784, output_dim=1, act=None)

    def forward(self, inputs):
        inputs = fluid.layers.reshape(inputs, (-1, 784))
        outputs = self.fc(inputs)
        return outputs

# 训练配置，并启动训练过程
with fluid.dygraph.guard():
    model = MNIST()
    model.train()
    #调用加载数据的函数
    train_loader = load_data('train')
    optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())
    EPOCH_NUM = 10
    for epoch_id in range(EPOCH_NUM):
        for batch_id, data in enumerate(train_loader()):
            #准备数据，变得更加简洁
            image_data, label_data = data
            image = fluid.dygraph.to_variable(image_data)
            label = fluid.dygraph.to_variable(label_data)
            
            #前向计算的过程
            predict = model(image)
            
            #计算损失，取一个批次样本损失的平均值
            loss = fluid.layers.square_error_cost(predict, label)
            avg_loss = fluid.layers.mean(loss)
            
            #每训练了200批次的数据，打印下当前Loss的情况
            if batch_id % 200 == 0:
                print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))
            
            #后向传播，更新参数的过程
            avg_loss.backward()
            optimizer.minimize(avg_loss)
            model.clear_gradients()

    #保存模型参数
    fluid.save_dygraph(model.state_dict(), 'mnist')
Nancynoha
关注
专栏目录
百度飞桨架构师手把手带你零基础实践深度学习——【手写数字识别】之训练调试与优化
qq_44635194的博客
08-17 594
百度飞桨架构师手把手带你零基础实践深度学习——打卡计划【手写数字识别】之训练调试与优化概述计算模型的分类准确率检查模型训练过程，识别潜在训练问题加入校验或测试，更好评价模型效果加入正则化项，避免模型过拟合过拟合现象导致过拟合原因过拟合的成因与防控正则化项可视化分析使用Matplotlib库绘制损失随训练下降的曲线图使用VisualDL可视化分析 下面给出课程链接，欢迎各位小伙来来报考！本帖将持续更新。我只是飞桨的搬运工 话不多说，这么良心的课程赶快扫码上车！https://aistudio.baidu.c
飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别网络结构的优化
weixin_49887018的博客
08-15 223
我们在上一次学习了使用飞桨对手写数字的图片进行数据处理。 最重要的便是数据格式转换，以及随机排序。 接下来我们讨论使用什么样的网络结构模型。 我们会发现，在前面的波士顿房价预测模型中，是一个线性回归问题，但手写数字识别显然不是，我们需要更复杂的网络去进行识别。 所以我们选择多层神经网络 配置网络：普通的多层神经网络 基础模型：神经网络 输入层+隐含层+输出层，非线性变换Sigmoid。 输出层：单一输出。 层数相对较多，且在其中加入一些非线性的激活函数，可以使网络表达更加复杂的关系。 隐含层的数量可以逐
飞桨Paddle学习笔记03-Mnist
oxygenh2o的博客
10-11 736
对之前的代码进行修改，加入了训练、调试与优化部分，并用VisualDL进行可视化分析； 代码如下： # 加载相关库 import os import random import paddle import numpy as np from PIL import Image import gzip import json # 定义数据集读取器 def load_data(mode='train'): # 读取数据文件 datafile = 'mnist.json.gz' p
百度飞桨架构师手把手带你零基础实践深度学习——【手写数字识别】之优化算法
qq_44635194的博客
08-16 405
百度飞桨架构师手把手带你零基础实践深度学习——打卡计划【手写数字识别】之优化算法概述前提条件设置学习率学习率的主流优化算法 下面给出课程链接，欢迎各位小伙来来报考！本帖将持续更新。我只是飞桨的搬运工 话不多说，这么良心的课程赶快扫码上车！https://aistudio.baidu.com/aistudio/education/group/info/1297?activityId=5&directly=1&shared=1 【手写数字识别】之优化算法 概述 上一节我们明确了分类任务的损失函
mnist手写数字识别与优化
jgw2008的专栏
09-09 588
mnist手写数字识别，是AI领域的“Hello World”，我们通过剖析这个程序，来加深对深度学习的认识。 本博客的代码来自“《PaddlePaddle从入门到炼丹》四——卷积神经网络”，博客链接如下。 https://blog.csdn.net/qq_33200967/article/details/83506694 在这篇博客中，使用了深度学习的深层神经网络和卷积神经网络，代码运行在...
深度学习基础网络模型(mnist手写体识别数据集)
11-02
深度学习是现代人工智能领域的重要分支，它通过模拟人脑神经网络的工作原理，处理复杂的数据学习任务。本主题将深入探讨如何使用基础网络模型——多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）以及...
mnist手写数字识别数据集
最新发布
01-22
总结来说，MNIST手写数字识别数据集是机器学习和深度学习领域的一个基石，它的存在推动了众多算法的创新和发展。无论是新手还是经验丰富的研究者，都能从中受益，不断提升自己的技能，并推动人工智能的进步。
MNIST_深度学习python_MNIST数据集_MNIST手写字_MNIST识别_MNIST_
10-02
MNIST（Modified National Institute of Standards and Technology）是计算机视觉领域一个经典的数据集，主要用于训练和测试手写数字识别算法。它由Yann LeCun等人在1998年创建，包含70,000张28x28像素的灰度图像，...
基于Python深度学习实现mnist手写数据集识别（源码+数据）.rar
05-06
1、资源内容：基于Python深度学习实现mnist手写数据集识别（源码+数据）.rar 2、适用人群：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业或毕业设计，作为“参考资料”使用。 3、更多仿真源码和...
深度学习应用开发-TensorFlow实践 – mnist手写数字识别1
01-07
单个神经元前向计算实现mnist手写数字识别 代码 import tensorflow as tf import tensorflow.examples.tutorials.mnist.input_data as input_data mnist = input_data.read_data_sets(data/,one_hot=True) #next_...
MNIST原始格式数据集（.gz格式）
08-22
由于下载MNIST网速慢，本人已上传原始格式的MNIST数据集，供大家下载使用。
手写数字数据集
08-12
手写数字训练集和测试集，方便使用。。。。。。。。。。
飞桨百度架构师手把手带你零基础实践深度学习——手写数字识别损失函数的优化
weixin_49887018的博客
08-15 369
我们上一节学的是将网络结构进行优化，接下来我们看是否能将损失函数进行优化 均方误差是我们在房价预测模型中使用的损失函数，显然适用于线性回归模型，实数输出与标签相减，而在分类问题中是不太合适的。 我们这个模型的期望输出是一个标签的概率。 SoftMax函数 所有输出和为1. 网络结构变化：单一输出（实数值）->每个分类一个输出（概率） softmax(xi)=exi∑j=0Nejx,i=0,...,C−1softmax(x_i) = \frac {e^{x_i}}{\sum_{j=0}^N{e^x_j}
基于百度飞浆深度学习框架的各个优化算法比较（手写数字识别）
weixin_43599328的博客
01-10 714
# 加载相关库 import os import random import paddle import paddle.fluid as fluid from paddle.fluid.dygraph.nn import Conv2D, Pool2D, FC import numpy as np from PIL import Image import gzip import json 一、数...
2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列)
aiAI
10-12 1689
2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列) 目录 2.7mnist手写数字识别之训练调试与优化精讲(百度架构师手把手带你零基础实践深度学习原版笔记系列) 概述 计算模型的分类准确率 检查模型训练过程，识别潜在训练问题 加入校验或测试，更好评价模型效果 加入正则化项，避免模型过拟合 过拟合现象 导致过拟合原因 过拟合的成因与防控 正则化项 可视化分析 使用Matplotlib库绘制损失随训练下降的曲线图 使用Visu.
百度飞桨坚持21天深度学习架构训练营之MNIST手写识别
Nancynoha的博客
08-20 573
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
基于飞桨实现手写数字识别1
weixin_49214939的博客
08-28 1037
参考课程连接：https://aistudio.baidu.com/aistudio/projectdetail/727853 最近在学习《百度架构师手把手带你零基础实践深度学习》，现在把课上学习的内容及代码记录下来。 之前写了基于飞桨实现的房价预测模型，适合入门深度学习，是一个很基础的线性回归模型，本文将线性模型运用到手写数字识别中，可能精度比较差，毕竟模型设计不是最适合的，但可用作练手。 1. 手写数字识别任务 手写数字识别是一个典型的图像分类问题，已经被广泛应用于汇款单号识别、手写邮政编码识别
【Deep learning】手写数字识别_深度学习_飞桨_源码
m0_61628700的博客
07-26 380
代码】手写数字识别_深度学习_飞桨_源码。
mnist数据集离线安装
haodawei123的博客
03-04 1473
1、下载mnist数据集 将下面的地址复制到迅雷下载数据集 https://s3.amazonaws.com/img-datasets/mnist.npz 2、配置文件 将下载好的mnist.npz复制到 “C:\Users\Administrator.keras\datasets” 3、使用mnist数据集 from keras.datasets import mnist (x_train,...
深度学习与DBN在MNIST手写数字识别中的应用
DBN在MNIST上的应用展示了深度学习模型如何处理复杂图像数据并实现高精度的识别效果。Keysers的报告还涉及了其他几种最先进的手写字符识别技术，并研究了将这些技术组合起来是否能进一步提升性能。 报告的统计分析...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值