深度学习笔记三

深度学习笔记三

---

前向传播和反向传播的实现

• 核对矩阵的维度

  当实现深度神经网络的时候，其中一个我常用的检查代码是否有错的方法就是拿出一张纸过一遍算法中矩阵的维数。

• 为什么使用深层表示

  深度神经网络的这许多隐藏层中，较早的前几层能学习一些低层次的简单特征，等到后几层，就能把简单的特征结合起来，去探测更加复杂的东西。

  深层的网络隐藏单元数量相对较少，隐藏层数目较多，如果浅层的网络想要达到同样的计算结果则需要指数级增长的单元数量才能达到。

---

机器学习基础

• 测试集：

  测试集的目的是对最终所选定的神经网络系统做出无偏估计，如果不需要无偏估计，也可以不设置测试集。

  所以如果只有验证集，没有测试集，我们要做的就是，在训练集上训练，尝试不同的模型框架，在验证集上评估这些模型，然后迭代并选出适用的模型。因为验证集中已经涵盖测试集数据，其不再提供无偏性能评估。当然，如果你不需要无偏估计，那就再好不过了。

• 偏差 or 方差

  如何通过分析在训练集上训练算法产生的误差和验证集上验证算法产生的误差来诊断算法是否存在高偏差和高方差，是否两个值都高，或者两个值都不高，根据算法偏差和方差的具体情况决定接下来你要做的工作

• 机器学习基础

  • 训练学习算法时，不断尝试不同的神经网络，直到解决掉偏差问题，这是最低标准，反复尝试，直到可以拟合数据为止，至少能够拟合训练集。
  • 如果能找到更合适的神经网络框架，有时它可能会一箭双雕，同时减少方差和偏差。如何实现呢？想系统地说出做法很难，总之就是不断重复尝试，直到找到一个低偏差，低方差的框架，这时你就成功了。
  • 一旦偏差降低到可以接受的数值，检查一下方差有没有问题，为了评估方差，我们要查看验证集性能
  • 正则化，训练一个更大的网络几乎没有任何负面影响，而训练一个大型神经网络的主要代价也只是计算时间，前提是网络是比较规范化的。

• 正则化

  • 深度学习可能存在过拟合问题——高方差，有两个解决方法，一个是正则化，另一个是准备更多的数据

  • 向量w参数的L2范数，L2正则化是最常见的正则化类型

  • L1正则化

  • 人们在训练网络时，越来越倾向于使用正则化。

  • 正则化两种实现方式：权重衰减和dropout(随机失活)

  • dropout的功能类似于L2正则化，与L2正则化不同的是应用方式不同会带来一点点小变化，甚至更适用于不同的输入范围。

  • 其他正则方法：数据扩增（数据增强）、early stopping

• 归一化输入（Normalizing inputs）

  训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：

  1. 零均值

  2. 归一化方差；

     我们希望无论是训练集和测试集都是通过相同的和定义的数据转换，这两个是由训练集得出来的。

  用同样的方法调整测试集，而不是在训练集和测试集上分别预估μ和[。因为我们希望不论是训练数据还是测试数据，都是通过相同μ和定义的相同数据转换，其中是由训练集数据计算得来的。

  所以如果输入特征处于不同范围内，可能有些特征值从0到1，有些从1到1000，那么归一化特征值就非常重要了。如果特征值处于相似范围内，那么归一化就不是很重要了。执行这类归一化并不会产生什么危害，我通常会做归一化处理，虽然我不确定它能否提高训练或算法速度。、

• 梯度消失/梯度爆炸

  实际上，在很长一段时间内，它曾是训练深度神经网络的阻力，虽然有一个不能彻底解决此问题的解决方案，但是已在如何选择初始化权重问题上提供了很多帮助。

• 神经网络的权重初始化

• 梯度检验测试
  问题上提供了很多帮助。

• 神经网络的权重初始化

• 梯度检验测试