PaddlePaddle课程学习第二周笔记

本周主要学习了手写数字识别以及深度学习五个步骤的具体实现方法和优化

深度学习五个步骤的具体实现方法和优化

数据集处理

1. 读入数据并划分数据集

   1. train_set（训练集）：用于确定模型参数。
   2. val_set（验证集）：用于调节模型超参数（如多个网络结构、正则化权重的最优选择）。
   3. test_set（测试集）：用于估计应用效果（没有在模型中应用过的数据，更贴近模型在真实场景应用的效果）。

2. 校验数据有效性

3. 异步数据读取：异步读取数据时，数据读取和模型训练并行执行，从而加快了数据读取速度，牺牲一小部分内存换取数据读取效率的提升。

模型设计

网络设计

与房价预测任务，不同的是手写数字识别任务的输入像素和输出数字标签之间不是线性的关系，因此，需要使用其他更复杂、更强大的网络（本周课程主要讲的是多层全连接神经网络和卷积神经网络）来构建手写数字识别任务。

经典的全连接神经网络

经典的全连接神经网络来包含四层网络：输入层、两个隐含层和输出层

• 输入层：将数据输入给神经网络。在该任务中，输入层的尺度为28×28的像素值。
• 隐含层：增加网络深度和复杂度，隐含层的节点数是可以调整的，节点数越多，神经网络表示能力越强，参数量也会增加。在该任务中，中间的两个隐含层为10×10的结构，通常隐含层会比输入层的尺寸小，以便对关键信息做抽象，激活函数使用常见的sigmoid函数。隐含层引入非线性激活函数sigmoid是为了增加神经网络的非线性能力。
• 输出层：输出网络计算结果，输出层的节点数是固定的。如果是回归问题，节点数量为需要回归的数字数量；如果是分类问题，则是分类标签的数量。在该任务中，模型的输出是回归一个数字，输出层的尺寸为1。

卷积神经网络

虽然使用经典的全连接神经网络可以提升一定的准确率，但对于计算机视觉问题，效果最好的模型仍然是卷积神经网络。卷积神经网络针对视觉问题的特点进行了网络结构优化，更适合处理视觉问题。卷积神经网络由多个卷积层和池化层组成。卷积层负责对输入进行扫描以生成更抽象的特征表示，池化层对这些特征表示进行过滤，保留最关键的特征信息。

损失函数

损失函数是模型优化的目标，用于在众多的参数取值中，识别最理想的取值。损失函数的计算在训练过程的代码中，每一轮模型训练的过程都相同，分如下三步：

1. 先根据输入数据正向计算预测输出。
2. 再根据预测值和真实值计算损失。
3. 最后根据损失反向传播梯度并更新参数。

不同的深度学习任务需要有各自适宜的损失函数。我们以房价预测和手写数字识别两个任务为例，详细剖析其中的缘