神经网络与归一化

一、神经网络的正向计算

Dense全连接层

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MslXes47-1575541945931)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191203191636132.png)]

二、神经网络训练

• 下山算法（sgd）

  找到方向

  走一步

• 梯度下降

  求导（找到方向）

  更新参数（走一步）

三、深度神经网络

层次非常深的神经网络

四、激活函数(activation)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yJFeFW4q-1575541945933)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191203192303921.png)]

五、归一化与批归一化

1、归一化：

• Min-max归一化，
• Z-score归一化：
• [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8uy4UGN4-1575541945933)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191203192816475.png)]

2、批归一化：

每层的激活值都做归一化

3、归一化为什么有效

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VUb3g9em-1575541945934)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191203193055836.png)]

做图为没有做归一化，右图做了归一化

做归一化后，登高线为正圆，法线正对圆心，所以训练速度较快

六、Dropout

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kHjWFXp4-1575541945935)(/Users/bobwang/Library/Application Support/typora-user-images/image-20191203193736980.png)]

dropout 的作用：

• 防止过拟合

  训练集上很好，测试集上不好

  参数太多，记住样本，不能泛化

dropout为什么有效？