CS231n 学习笔记（十一）

时间：2019/4/2
内容：批量归一化、监视学习过程、超参数优化

课时15：批量归一化等

批量归一化

• 参考论文

https://arxiv.org/abs/1502.03167

我们想要在高斯范围内保持激活。如果想要正确激活单位高斯函数，可以取目前批量处理的均值，然后用均值和房差来进行归一化。因此基本上我们在训练开始时才设置这个值，而不是在权重初始化的时候，以便我们能够在每一层都有很好的单位高斯分布，希望在训练时能保持一致。现在我们要明确地让所有通过深度网络的转发都能够在每一层有很好的高斯分布。通过归一化每一个神经元的均值和方差，我们观察所有流入神经元的输入，计算这批数据的均值和方差，然后将其归一化。


假设输入数据的维度是D，我们将对每个维度独立计算经验均值和方差，所以基本上每个特征元素，通过批量处理我们都进行计算过了

该过程通常是在全连接或卷积层之后插入的。我们不断地在这些层上乘以W，虽然会对每一层造成不好的尺度效应，但这基本上可以消除这种影响。因此我们基本上是通过每个与神经元、激活函数相连的输入来进行缩放，可以用相同的方法来全连接卷积层。区别在于在卷基层的情况下，我们不仅想要归一化所有的特征维度的独立训练实例，还要

在归一化操作后需要进行额外的缩放操作


批量归一化所做的事情是：将数据转换为单位高斯数据

我么对每一层的输入进行归一化，在这个过程中没有改变权重

监视学习过程

超参数优化

对任何超参数，执行交叉验证，交叉验证是在训练集上训练，然后在验证集上验证，观察这些超参数的实验效果