本文参考:【DataWhale-李宏毅深度学习】Task05网络设计的技巧_LucyFang2020的博客-CSDN博客
Datawhale深度学习资料:LeeML-Notes
深度学习中的网络设计技术(一) ——理论概述_gwprock的博客-CSDN博客_深度学习网络设计
一、梯度下降法的局限
局部最小值saddle point和鞍点local minima
优化(Optimization)损失函数失败的原因主要有2种:
1.局部最小值 (local minima),无路可走。
2.鞍点 (saddle point),还可以继续梯度下降。
最好先知道损失函数的形状,才能更好的解决上面的问题。