最优化方法一：微分求极值

1 一元函数求极值

一元函数的极值通过导数判定，（前提是要有导数）。首先求解驻点，令一阶导数等于0：

                                                                          

其次，用求解出来的点判断驻点是否为极值点，即将求解出的驻点代入二阶导数判断是否等于0：

                                                                          

二阶导数不为0即可筛选出极值点，继而判断极大值点极小值点：

如果，函数取得极小值点，反之取得极大值点。

2 多元函数求极值

多元函数通过微分求解极值需要用到Hession矩阵，首先介绍Hession再介绍极值点求解方法。

2.1Hession矩阵

Hession是二阶偏导数矩阵，是对称方阵，具体形式如下：（以函数为例）

                                       

其性质为，令

                                                                      

如果H正定，则二次型；矩阵A负定二次型。

2.2多元函数极值

多元函数的求解过程通过一元函数扩展得到。

首先令一阶导数等于0，求解出驻点；在判断Hession矩阵H，如果矩阵H正定，为极小值点；矩阵H负定，为极大值点。