最优化（一）数学基础

1、等值线

\quad 定义：在高维空间$n\ge 3$中，使目标函数值取同一常数的点集 { X ∣ f ( X ) = c , c 为 常 数 } \{X|f(X)=c,c为常数\} {X∣f(X)=c,c为常数}称为$f(X)$的等值线。
对于连续的单值函数，其等值线具有以下性质：

• 不同的等值线不想交
• 除极值点所在的等值线外，等值线不会中断
• 等值线稠密的地方，目标函数值变化较快
• 在极值点附近，等值线近似呈同心椭圆簇

2、可微与梯度

\quad 定义：设$f:D\subset R^n,且X^0\in D$，若存在$n$维向量$L$，对任意$n$维向量$P$，都有$$li{m}_{||P||->0}\frac{f(X^0+P)-f(X^0)-L^{T}P}{||P||}=0$$则称$f(X)$在$X^0$可微。(直观理解为：分子趋于0的速度比分母快。根据定义可以解出 $L=(\frac{\partial f(X^0)}{\partial x_1},\frac{\partial f(X^0)}{\partial x_2},\cdots ,\frac{\partial f(X^0)}{\partial x_n}{)}^T$
\quad 梯度：依次以$f(X)$的$n$个偏导数为分量的向量$\nabla f(X)$称为$f(X)$的梯度。$\nabla f(X)=L$。引入梯度后，$f(X^0+P)=f(X^0)+\nabla f(X^0)P+o(||P||)$。梯度性质如下：

• 若$\nabla f(X^0)̸=0$，则$\nabla f(X^0)$与过$X^0$的等值线垂直
• 沿梯度方向函数具有最大的变化率
• $\nabla (b^{T}X)=b,b=(b_1,b_2,\cdots ,b_n{)}^T\in R^n$
• $\nabla (X^{T}X)=2X$
• $\nabla (X^{T}AX)=2AX$，这里$A=A^T$
• $\nabla (X^{T}AX)=AX+A^{T}X$

3、方向导数

\quad 定义：设$P\in R^n,||P||=1$，可微函数$f(X)$在$X$点沿$P$的方向导数为:$$\frac{d(f(X))}{d(P)}=\underset{\alpha ->0^{+}}{\lim }\frac{f(X+\alpha P)-f(X)}{||\alpha P||}=\underset{\alpha ->0^{+}}{\lim }\frac{\nabla f(X{)}^T(\alpha P)+o(||\alpha P||)}{||\alpha P||}=\nabla f(X{)}^{T}P=||\nabla f(X)||cos(\nabla f(X),P)$$其中，$\nabla f(X),P$表示$\nabla f(X)$和$P$的夹角。可见要使函数值下降最快，需要使得$cos(\nabla f(X),P)=-1$，即$P=-\beta \nabla f(X)$。沿着负梯度的方向函数值下降得最快。

4、Hesse矩阵

\quad 定义：函数$f(X)$具有二阶连续偏导数，则对$f(X)$求二阶偏导得到的矩阵是Hesse矩阵，一定是对称矩阵。
$${\nabla }^{2}f(X)=\begin{array}{cccc}\frac{{\partial }^{2}f(X)}{\partial x_1^2}& \frac{{\partial }^{2}f(X)}{\partial x_2\partial x_1}& \cdots & \frac{{\partial }^{2}f(X)}{\partial x_n\partial x_1}\\ \frac{{\partial }^{2}f(X)}{\partial x_1\partial x_2}& \frac{{\partial }^{2}f(X)}{\partial x_2^2}& \cdots & \frac{{\partial }^{2}f(X)}{\partial x_n\partial x_2}\\ \cdots & \cdots & \cdots & \cdots \\ \frac{{\partial }^{2}f(X)}{\partial x_1\partial x_n}& \frac{{\partial }^{2}f(X)}{\partial x_2{x}_n}& \cdots & \frac{{\partial }^{2}f(X)}{\partial x_n^2}\end{array}$$

5、极小点与最优值

\quad 对于点$X^{\ast }$邻域内任意点$X$，都满足$f(X^{\ast })\le f(X)$，则$X^{\ast }$为$f(X)$的局部极小点，$f(X^{\ast })\le f(X)$，则$X^{\ast }$为$f(X)$的严格局部极小点。函数值$f(X^{\ast })$称为最优值。

6、驻点、极值点、鞍点和拐点

驻点：若$\nabla f(X^{\ast })=0$，则$X^{\ast }$为$f(X^{\ast })$的驻点
极值点：若$\nabla f(X^{\ast })=0$，且${\nabla }^{2}f(X^{\ast })$是正定矩阵，则$X^{\ast }$是$f(X)$的严格局部极小点(若${\nabla }^{2}f(X^{\ast })$是半正定矩阵，其他条件不变，那么$X^{\ast }$不一定是$f(X)$的局部极小点，也可能是鞍点)
鞍点：是驻点而不是极值点的点统称为鞍点
拐点：函数凹凸性改变的变

7、凸集和凸函数

\quad 凸集：若集合D中任意两点连线仍在D中，则D为凸集
\quad 凸函数：设D是凸集，若对所有的$X^1,X^2\in D,\alpha \in (0,1)$，都有$$f(\alpha X^1+(1-\alpha )X^2)\le \alpha f(X^1)+(1-\alpha )f(X^2)$$则$f(X)$为D上的凸函数。
\quad 凸函数充要条件：设D是凸集，$f(X)$在D上具有连续的二阶偏导数，则$f(X)$在D上是凸函数的充要条件是${\nabla }^{2}f(X)$是半正定矩阵。

8、凸优化

• 局部最优解为全局最优解
• 最优解集为单点集