数值优化——简介及无约束优化基础

1、优化问题的基本格式

 其中，满足约束条件的点的集合称之为可行域

2、优化问题的分类

A、从变量的角度

连续优化：可行集通常是无限的

离散优化：变量是整数集合

B、从约束的角度

约束优化和无约束优化

C、从解的角度

局部优化和全局优化（对于凸优化问题，局部解和全局解等价；但是普遍情况下很难找到一个优化问题的全局最优解）

凸集：

凸函数：

 当上式的不等号严格成立时，称之为严格凸函数.

3、无约束优化的基础

问题描述：

 解的分类：

全局极小值：

局部极小值：

（大多数算法只能找到一个局部极小值） 

关于局部极小值，可以更细的分为严格局部极小值和孤立局部极小值；其中孤立极小值一定是严格的，但是严格的并不一定时孤立的（在一个严格极小值附近可能有无穷多个点趋近于他，此时函数值也可以取到局部极小值。

如何判别一个点时局部极小值点？下面介绍五个定理（这五个定理的证明要掌握）

（Taylor定理是用于研究光滑函数极小化问题数学工具）

 

证明思路： 反证法，假设结论不成立，然后与已知条件相矛盾。

驻点：使得的点称之为驻点。根据定理2.2我们可以看到局部极小值点一定是一个驻点.

 证明思路： 反证法，假设结论不成立，然后与已知条件相矛盾。

  证明思路：结合Taylor展开，证明在的领域内，任一点均满足

PS:定理 2.4中产生的解是一个严格局部极小值点，而定理2.3中是一个局部极小值

  证明思路：(i)反证法，然后结合如函数的性质进一步与已知条件矛盾，从而结论得证

                    (ii)反证法利用凸函数性质和向量函数求导

通过上面的五个定理，我们可以感受到Taylor展开的重要性，以及在之后的很多定理证明中都会出用到反证的思路,