最优化--中科院实景课堂--第二节 局部极小点+凸函数+无约束优化引言

1、目标函数很复杂，甚至可能需要采样，而且来之不易。因此需要用少的步数算出最值

2、gloal、local（weak平/strict严格/isolated孤立[他的邻域内只有这样一个极小点，没有震荡]）

3、我们找 的是在邻域内的最小

4、泰勒中值定理

考虑高维
f多维到一维的映射函数，连续可微分，x是高维。且在二次连续可微下：

首先是转置，直观理解这里是因为是多维到一维的原因。
然后是tp，这里可以看作是泰勒中值定理中余项。

5、判断条件
一阶必要条件：梯度等于0；

必要条件：
反证法
假设最优点梯度不等于0

说是不等于0，那可以构造一个负梯度方向，然后和梯度的内积小于0，因此在这个点的邻域内的内积也是小于0的。因此带入这个邻域内一个点就会发现矛盾。

二阶时充分条件：由一阶的证明，可知梯度等于0；同时Hessian矩阵半正定时是局部极小点。

反正法：
Hessian矩阵不是半正定

同一阶的证明思路
注意，连续函数极值点都是稳定点（也叫鞍点，但是反过来不行）

充分条件：
注意，这里只有二阶的充分条件。
二阶导数组成的Hessian邻域连续，一阶导数等于零，二阶导数正定，则是严格的局部极小点。
证明，反证法
由于连续和正定，推出在x*邻域内也是正定的
在邻域球D中，p是球中其中任意一个方向

但是并不是所有的局部极小点都满足这个条件，比如x^4，的hessian是半正定的。

6、结合凸
因为很多都是凸函数，同时就算不是凸函数，在极小点附近有很好的凸性。
(1)、如果是一个凸函数，并且是局部极小点，那么也是全局极小点；
(2)、如果是一个凸函数，并且可微的，那么任意一个稳定点（梯度等于0，因此这种情况下可以转化为直接求梯度等于0）都是全局极小点。

证明，反证：
(1)、局部极小点不是全局极小点
取x到z的点（这里lammd如果在0附近，那就靠近x）

这里推出矛盾，即x不是局部极小点。
(2)、稳定点不是全局极小点
已知：梯度等于0（稳定点）。假设：存在z，使f(z)<f(x)
对于之前凸函数定义不等式的左边那一项，将它变形（注意这里的z是全局极小点），并对lammda求导（这里首先把它看作所标量lammda的函数），可以得到这样的一个等式

因为f本身是x的函数（括号里面仅是传入的参数），因此对lammda求导首先要对x求导。
同时导数也可以看作是割线的斜率，因此

对于分子第一项，可以按照凸函数（证明的关键）的标准形式可知小于等于。。。因此带入可知lammda取0-1

约掉lammda得到

按照假设时小于0的。
取lammda=0，又因为梯度小于0.带入可知

7、无约束优化的步骤
1)、得到初始点;
2)、算法：线搜索、信赖域
3)、终止：阈值或者更新不动