PaddlePaddle第二周学习笔记

• 项目一：使用飞浆完成手写数字识别模型
  • MNIST数据集
    • MNIST数据集是从NIST的Special Database 3（SD-3）和Special Database 1（SD-1）构建而来。

      

  • 构建手写数字识别的神经网络模型

    • 

  • 飞桨各模型代码结构一致，大大降低了用户的编码难度

    • 

  • 教程采用"横纵式"教学法，适用于深度学习初学者

    • 

• 项目二：通过极简方案快速构建手写数字识别模型
  • 加载飞桨与手写数字识别模型相关的类库
  • 数据处理
    • 飞桨提供了多个封装好的数据集API，涵盖计算机视觉、自然语言处理、推荐系统等多个领域，帮助读者快速完成深度学习任务。
      • mnist
      • cifar
      • Conll05
      • imdb
      • imikolov
      • movielens
      • sentiment
      • uci_housing
      • wmt14
      • wmt16
    • 手写数字识别任务中，通过paddle.dataset.mnist可以直接获取处理好的MNIST训练集、测试集
    • 通过paddle.dataset.mnist.train()函数设置数据读取器，batch_size设置为8，即一个批次有8张图片和8个标签
  • 飞桨API的使用方法
    • 飞桨API文档获取方式
      • 登录“飞桨官网->文档->API Reference
      • 通过搜索和分类浏览两种方式查阅API文档
    • API文档使用方法
      • 飞桨每个API的文档结构一致，包含接口形式、功能说明和计算公式、参数和返回值、代码示例
  • 模型设计
    • 输入像素的位置排布信息对理解图像内容非常重要（如将原始尺寸为28*28图像的像素按照7*112的尺寸排布，那么其中的数字将不可识别），因此网络的输入设计为28*28的尺寸，而不是1*784，以便于模型能够正确处理像素之间的空间信息。
    • 事实上，采用只有一层的简单网络（对输入求加权和）时并没有处理位置关系信息，因此可以猜测出此模型的预测效果有限。在后续优化环节中，介绍的卷积神经网络则更好的考虑了这种位置关系信息，模型的预测效果也会显著提升
  • 训练配置
    • 训练配置需要先生成模型实例（设为“训练”状态），再设置优化算法和学习率（使用随机梯度下降SGD，学习率设置为0.001）
  • 训练过程
    • 训练过程采用二层循环嵌套方式，训练完成后需要保存模型参数，以便后续使用。
      • 内层循环：负责整个数据集的一次遍历，遍历数据集采用分批次（batch）方式。
      • 外层循环：定义遍历数据集的次数，本次训练中外层循环10次，通过参数EPOCH_NUM设置。
  • 模型测试
    • 声明实例
    • 加载模型：加载训练过程中保存的模型参数。
    • 灌入数据：将测试样本传入模型，模型的状态设置为校验状态（eval），显式告诉框架我们接下来只会使用前向计算的流程，不会计算梯度和梯度反向传播。
    • 获取预测结果，取整后作为预测标签输出。
    • 在模型测试之前，需要先从'./work/example_0.jpg'文件中读取样例图片，并进行归一化处理。
• 项目三：【手写数字识别】之数据处理
  • 前提条件
    • 在数据读取与处理前，首先要加载飞桨和数据处理库
  • 读入数据并划分数据集
    • MNIST数据集以json格式存储在本地，其数据存储结构

      

    • data包含三个元素的列表：train_set、val_set、 test_set，包括50000条训练样本，10000条测试样本，共60000条数据。每个样本包含手写数字图片和对应的标签
      • train_set（训练集）：用于确定模型参数。
        • train_images：[50000, 784]的二维列表，包含50000张图片。每张图片用一个长度为784的向量表示，内容是28*28尺寸的像素灰度值（黑白图片）。
        • train_labels：[50000, ]的列表，表示这些图片对应的分类标签，即0-9之间的一个数字。
      • val_set（验证集）：用于调节模型超参数（如多个网络结构、正则化权重的最优选择）。
      • test_set（测试集）：用于估计应用效果（没有在模型中应用过的数据，更贴近模型在真实场景应用的效果）。
  • 为什么学术界的模型总在不断精进呢？
    • 假设所有论文共产生1000个模型，这些模型使用的是测试数据集来评判模型效果，并最终选出效果最优的模型。这相当于把原始的测试集当作了验证集，使得测试集失去了真实评判模型效果的能力
    • 当几个模型的准确率在测试集上差距不大时，尽量选择网络结构相对简单的模型。往往越精巧设计的模型和方法，越不容易在不同的数据集之间迁移。
  • 训练样本乱序、生成批次数据
    • 训练样本乱序： 先将样本按顺序进行编号，建立ID集合index_list。然后将index_list乱序，最后按乱序后的顺序读取数据。
      • 通过大量实验发现，模型对最后出现的数据印象更加深刻。训练数据导入后，越接近模型训练结束，最后几个批次数据对模型参数的影响越大。为了避免模型记忆影响训练效果，需要进行样本乱序操作。
    • 生成批次数据： 先设置合理的batch_size，再将数据转变成符合模型输入要求的np.array格式返回。同时，在返回数据时将Python生成器设置为yield模式，以减少内存占用。
  • 校验数据有效性
    • 在实际应用中，原始数据可能存在标注不准确、数据杂乱或格式不统一等情况。因此在完成数据处理流程后，还需要进行数据校验
      • 机器校验：加入一些校验和清理数据的操作。
      • 人工校验：先打印数据输出结果，观察是否是设置的格式；再从训练的结果验证数据处理和读取的有效性
  • 封装数据读取与处理函数
    • 从读取数据、划分数据集、到打乱训练数据、构建数据读取器以及数据校验，完成了一整套一般性的数据处理流程，下面将这些步骤放在一个函数中实现，方便在神经网络训练时直接调用。
    • 下面定义一层神经网络，利用定义好的数据处理函数，完成神经网络的训练。
  • 异步数据读取

    • 

    • 同步数据读取：数据读取与模型训练串行。当模型需要数据时，才运行数据读取函数获得当前批次的数据。在读取数据期间，模型一直等待数据读取结束才进行训练，数据读取速度相对较慢。
    • 异步数据读取：数据