神经网络的一些优化原理——吴恩达深度学习视频笔记二

1.归一化输入：将训练集、验证集和测试集放在一起进行，避免出现数据不匹配问题。

    1.1 logistic回归的归一化：去均值：x -= μ 归一化方差：x /= 方差

1.2 batch归一化：神经网络中，当前层的输出将会成为下一层的输入，所以可以考虑对当前层的输出进行归一化（发生在调用激活函数之前，即 z = w * x + b）。归一化之后符合标准正态分布，如果希望归一化后可以有不一样的均值和方差，可对其进行线性变化：s = β * z + γ，然后调用激活函数（比如通过这样线性变化，使s值落在sigmod函数非线性部分，以利用其非线性部分的性质）。这样β和γ也可以像w, b在反向传播时更新参数。这个过程也可以用Adam一类的优化算法。

1.3 batch归一化的作用：

1.3.1有利于梯度下降；

1.3.2使各层之间相对独立一些，前面层的输出的值（作为当前层的输入值）发生改变时，其均值和方差不变，所以减轻前面层的改变对当前层的影响；

1.3.3有轻微正则化效果。

1.4 batch归一化的测试：归一化过程中的均值和方差都是当时的mini-batch的，测试集和训练集均值、方差不同，而且