- 博客(3)
- 收藏
- 关注
RSS订阅原创 如果optimization失败怎么办？怎么把梯度下降做的更好。local minima & saddle point
（PPT9）如果optimization失败怎么办？怎么把梯度下降做的更好。如上图，当时loss值不变，则有可能参数对损失函数的微分为0，则梯度下降不会再对参数进行更新。微分为0统称为 critical point。可能是以下两种情况：①local minima 即局部最优；无路可走。②saddle point，如图中红色的点，左右高，前后低。有路可走。如何分辨是local minima 还是 saddle point？（需要一些数学知识，如下图）
2022-03-10 21:39:16
227
原创 机器学习任务攻略--loss值为什么大
Framework of MLGeneral Guide1 Model Bias模型太简单，没有弹性。“海里没有针”解决：给模型更大的弹性。2 Optimization Issue一般用到梯度下降方法，但是这种方法有很多问题，比如局部最优。“没办法把针捞出来”判断 Model Bias vs. Optimization Issue比较不同的模型来判断模型够不够大。先跑小数据或者先跑简单的模型，如SVM（不...
2022-03-10 21:17:23
5009
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人