一、最优化问题
1.无约束优化
1.1 必要条件
一阶必要条件:梯度为0
二阶必要条件:二阶hessian矩阵半正定
1.2步长的搜索方法
设当前位置
x
k
x^k
xk,搜索方向为
d
k
d^k
dk,搜索步长
a
a
a,
x
k
+
1
=
x
k
+
a
d
k
x^{k+1}=x^k+ad^k
xk+1=xk+adk.
1.精确一维线性搜索:计算关于a的多项式取最小值的时候的a值:
![](https://i-blog.csdnimg.cn/blog_migrate/d84b74af02517f56c941f9a0da572a48.png)
2.非精确线性搜索准则精确搜索需要的计算量大,在计算准确度和计算量之间取得一个平
衡,就是非线性搜索,满足 f ( x k + a d k ) < f ( x k ) f(x^k+ad^k)<f(x^k) f(xk+adk)<f(xk)即可。
3.其他分割方法,如0.618分割。
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/230ec2346096a658b88d8b8ad352678b.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/81390c8c9fad25df942f64c0db4757fd.png)
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/3250f432fa6657189db25967e02f0f6b.png)
2.约束优化
2.1最速下降法
函数做一阶展开
![](https://i-blog.csdnimg.cn/blog_migrate/7b070644ba167047095f8709f0883df0.png)
2.2牛顿法
函数做二阶展开