《深度学习笔记》——防止梯度消失的学习笔记

1 前言

防止梯度消失是深层神经网络可以训练的原因之一，也是深度学习技术发展的基石；

2 归一化——“中心化和白化”

归一化是深度学习中很重要的预处理步骤，其目的是让“数据的分布”，具体来说，也就是均值为0、方差为1；
今天蔡老师在讲述这个内容时描述的是“中心化和白化”，我觉得这个描述也是挺好的，其中“中心化”就表达了均值为1的意思，“白化”就表达了“希望分布的形状尽可能接近一个大圆面”的意思；

3 BN——批归一化

我将BN放在了归一化的后面，因为我觉得这两者实现的功能是是有共同之处的，

• 归一化在预处理的时候实现数据分布的归一化
• BN(批归一化)实现了每一层特征的归一化
  从而当特征图实现归一化时，再配合激活函数时，（即使是使用sigmoid函数），也可以有效地防止梯度消失的问题；