第 3 章 深度学习基础本章介绍了深度学习常见的概念,理解这些概念能够帮助我们从不同角度来更好地优化神经网络。要想更好地优化神经网络,首先,要理解为什么优化会失败,收敛在局部极限值与鞍点会导致优化失败。其次,可以对学习率进行调整,使用自适应学习率和学习率调度。最后,批量归一化可以改变误差表面,这对优化也有帮助。3.1 局部极小值与鞍点我们在做优化的时候经常会发现,随着参数不断更新,训练的损失不会再下降, 但是我们对这个损失仍然不满意。把深层网络(deep network)、线性模型和浅层网络(shallow network)做比较,可以发现深层网络没有做得更好——深层网络没有发挥出它完整的力量,所以优化是有问题的。但有时候,模型一开始就训练不起来,不管我们怎么更新参数,损失都降不下去。这个时候到底发生了什么事情?3.1.1 临界点及其种类过去常见的一个猜想是我们优化到某个地方,这个地方参数对损失的微分为零,如图 3.1所示。图 3.1 中的两条曲线对应两个神经网络训练的过程。当参数对损失微分为零的时候,梯度下降就不能再更新参数了,训练就停下来了,损失不再下降了。
Datawhale X 李宏毅苹果书 AI夏令营 第五期 向李宏毅学深度学习(进阶)Task1:《深度学习详解》- 3.1 局部极小值与鞍点
于 2024-08-23 01:12:33 首次发布