神经网络基本讲解（神经网络、激活函数、归一化与批归一化、dropout）

深度神经网络：层次非常深的神经网络

归一化：把输入数据做一个规整，使得它均值为0，方差为1。

Min-max归一化：x’=(x-min)/(max-min)

Z-score归一化：x’=(x-u)/O

批归一化：把归一化的思路从输入数据上，扩展到网络的每层激活值上。

左图：未归一化，等高线是椭圆，在椭圆上计算梯度时，指向的不一定是圆心，训练轨迹曲折。

右图：归一化，等高线是正圆。法线方向对着圆心。

Dropout:随机丢弃神经单元

作用：防止过拟合（训练集上很好，测试集上不好，参数太多，记住样本，不能泛化）