1.Gradient descent(梯度下降)
2.Conjugate gradient(共轭梯度)
3.BFGS
Octave使用:
4.L-BFGS
PS:
1.后三种算法均可以自动调整学习率,所以相较于第一种算法更快。
2.自动调整学习率中用到了线性搜索算法不断寻找好的学习率,收敛的更快。
【机器学习吴恩达】高级优化的算法
最新推荐文章于 2021-06-11 20:22:11 发布
1.Gradient descent(梯度下降)
2.Conjugate gradient(共轭梯度)
3.BFGS
Octave使用:
4.L-BFGS
PS:
1.后三种算法均可以自动调整学习率,所以相较于第一种算法更快。
2.自动调整学习率中用到了线性搜索算法不断寻找好的学习率,收敛的更快。