数值优化方法:梯度下降,最速梯度下降与共轭梯度下降
数值优化方法笔记
本文对常见的数值优化方法进行总结,重点关注优化方法的原理、迭代过程和计算复杂度。常见的数值优化方法包括梯度下降法(最速梯度下降法)、牛顿法、共轭梯度下降法等。
梯度下降算法
算法思路
考虑到以下问题,找到一个x∗x^*x∗使f(x∗)<f(x),∀x∈Rnf(x^*) < f(x), \forall x \in R^nf(x∗)<f(x),∀x∈Rn。梯度下降算法的思路很简单:每一次迭代的点要比上一次次迭代点的值更小。用公式表达就是
$f(x_{k+1})$ <
原创
2020-06-11 16:38:05 ·
1442 阅读 ·
0 评论