2301_77062079的博客

原创 Datawhale X 李宏毅苹果书AI夏令营 深度学习（进阶）方向 task01笔记

为什么对临界点的理解很重要：目前来看，没有方法能够保证找到全局最小值，也就是说，不论怎么调参将性能调到你能做到的最好，仍然大概率获得了优化过程中的一个鞍点或者局部极小值，只能在已经大概率陷入某个局部极小值或者鞍点的时候，放大学习率，强行让训练算法跳出当前的局部最小值或者鞍点，继续寻找可能效果会更好的极值点，这样多次跳出优化过程中的局部最小值并进行比较后获得其中性能最好的极小值作为最优解。：鞍点是一种特殊的临界点，它在某些方向上是局部极小值，而在其他方向上是局部极大值。而鞍点是旁边还是有路可以让损失更低的。