weixin_39114774的博客

原创 梯度法-最优化算法设计与分析之一

引言：无约束最优化问题的一般形式如下 ：。例如无约束优化问.此二维空间的最优化问题该如何求解。从图形上反应的图形为如图一所示： 缩小图形尺寸，得到的微缩图形如图二所示。从图像上可以看出，最优解为x*=(1,1)，最优值为f(x*)=0。 梯度法 ： 梯度法是求解无约束优化问题最简单和最古老的方法之一。设f(x)在附近连续可微， 为搜索方向向量，由泰勒展开式，得，那么目标函数f(x)在处沿方向