笔记:动手学深度学习pytorch(批量归一化和残差网络,凸优化,梯度下降)
- 批量归一化和残差网络
- 批量归一化
- 对输入的标准化(浅层模型)
处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。
标准化处理输入数据使各个特征的分布相近
- 批量归一化(深度模型)
利用小批量上的均值和标准差,不断调整神经网络中间输出,从而使整个神经网络在各层的中间输出的数值更稳定。
- 对全连接层做批量归一化
位置:全连接层中的仿射变换和激活函数之间
- 全连接
全连接...
原创
2020-02-21 17:10:25 ·
407 阅读 ·
0 评论