- 卷积神经网络:
- 加快梯度下降
mini-batch
动量梯度下降
RMSprop: Root Mean Square Prop
Adam: adaptive estimation - 局部最优解
1.大维度不太容易困在局部最优解,因为局部最优意味着每个维度上都是局部最低的点
2.局部平稳区域会影响训练速度,但是动量梯度下降、RMSprop以及Adam可以加速脱离平稳区域 - 残差网络(跳跃连接)
使得网络深的时候损失函数仍能下降,因为可学到常函数 - 1* 1过滤层——瓶颈层
通过1*1缩小通道数,再用卷积过滤层增加通道数,使得乘法的运算总次数减少(相比于直接卷积过滤层增加通道数)
计算机视觉
最新推荐文章于 2024-08-04 22:45:03 发布