最优化局部极小点的条件

 回忆一下关于 元实值函数的 的求导问题，函数 的一阶导数 为

                                                 


函数  的梯度  正好是导数  的转置，即；函数  的二阶导数，也称为hessian矩阵，可表示为：
 

                                                

 

对于向量 , 和约束集中的某个点 ，如果存在一个实数 使得对于所有 ， 仍然在约束集内，即 ，则称 为 处的可行方向！


为 元实值函数  在  处的可行方向，则函数  沿方向  的方向导数可表示为

                                                

                          
这也是一个实值函数，如果 ，那么方向导数  表示的是函数  的值在  处沿方向  的增长率。为了计算方向导数，假定  和  已知，这样就变成了关于的函数，有

                                             

      

应用链式法则，可得

                    

由此可见，当 是一个单位向量( )时，函数f的值在 处沿方向 的增长率可以用内积 表示。

一阶必要条件：多元实值函数 在约束集 上一阶连续可微，即 ，约束集  是的子集。如果是函数  在  上的局部极小点，则对于  处的任意可行方向  ，都有

                                                  

成立。

推论 ：局部极小点位于约束集内部时的一阶必要条件：多元实值函数 在约束集  上一阶连续可微，即  ，约束集  是  的子集，如果  是函数  在  上的局部极小点，且是  的内点，则有
 

                                                  

成立。

局部极小点的二阶必要条件：多元实值函数 在约束集  上二阶连续可微，即， 约束集  是  的子集 ， 如果  是函数  在  上的局部极小点 ，  是  处的一个可行方向，且  ，则有
 

                                                 

其中，H为函数f的hessian矩阵。
 

推论：局部极小点位于约束集内部时的二阶必要条件： 多元实值函数  在约束集  上二阶连续可微，即， 约束集  是  的子集 ， 如果  是函数  在  上的局部极小点，且是  的内点，则有

                                                 
                       
hessian矩阵 半正定，也就是说，对于所有的向量  ，都有

                                                 

局部极小点的二阶充分条件（局部极小点为内点）：多元实值函数 在约束集上二阶连续可微，即  ，  是约束集的一个内点，如果同时满足

1     

2    

则 是函数 的一个严格局部极小点

-------------------------------------------------------------------------------

转载请注明出处 博客园 刺猬的温驯 

本文链接 http://www.cnblogs.com/chenying99/p/5081426.html  

转载于:https://www.cnblogs.com/chenying99/p/5081426.html