最优化方法---最速下降法

最速下降法的思想

根据函数本身的表达式，找到梯度下降最快的地方，确定下一个x;(这里我们当作x_k+1)
小拓展：csdn博客中将下标用~括起来,.上标用^括起来（表示次幂 x)x_k+1 x^k
α代表步长。p_k=-g(k)。g(k)代表计算到x_k的导数。
x_k+1=x_k+α*p_k；
一直到g(k)小于给定的值或者g(k)等于0；
流程图：

步长通过一维搜索即可

解析法

例：f(x)=x1²+x2
g(x)=(2x1 1)^T;
设初始点为(1,0);
x₂=x₁+α*g(x₁);
注：x₁,x₂为由点坐标组成的列向量；
x₂ = (1+2*α α);求下一个点
f(x)= (4α)²+5α+1;带α的一个表达式。求最小值。导数等于0；
f^‘(x)=32α+5 =0；
α = -5/32；

特殊情况

if : f(x) = 1/2*X^TAX+X^T+X^Tb+c;
then:α_k=-(g(k)^Tp(k))/((p_k^TAp_k));