最优化方法预备知识

《最优化方法》和《应用数理统计》是机器学习的基础，接下来一段时间我将整理整理最优化和数理统计的一些知识，整理的知识中不包含证明过程（具体的证明过程可以查阅相关书籍），在学习最优化过程中需要一点高数和线性代数基础。

多元函数

定理1：若f(x)在点$x_0$c处可微，则f(x)在该点关于各个变量的一节偏导数存在，并且

$$l=[\frac {\partial f(x_o)}{\partial x_1}, \frac {\partial f(x_o)}{\partial x_2},\cdot\cdot\cdot,\frac {\partial f(x_o)}{\partial x_n}]^T$$ 定理1就是表明对于多元函数，可微 $\Rightarrow$可导。对于多元函数：可微 $\Rightarrow$可导 $\Rightarrow$连续 $\Rightarrow$可积；对于一元函数：可微 $\Leftrightarrow$可导 $\Rightarrow$连续 $\Rightarrow$可积。
定义1: (梯度)以 f(x)的n个偏导数为分量的向量称为 f(x)在 x处的梯度，记为 $$\nabla{\textit {f(x)}}=[\frac {\partial \textit {f(x)}}{\partial x_1},\frac {\partial \textit {f(x)}}{\partial x_2},\cdot\cdot\cdot,\frac {\partial \textit {f(x)}}{\partial x_n}]$$ 梯度也称为函数 f(x)关于变量 x的一阶导数。
若函数 f(x)在 $x_0$处可微，多元函数 f(x)在 $x_0$的一阶Taylor展开式 $$f({{x_0}}+{p})=f({x_0})+\nabla f({x_0})^T{p}+o(||{p}||)]$$
定义2:(方向导数)设 $f:R^n \to R^1$在点 $x_0$处可微， $p$是任意给定的非零向量， $e$是 $p$方向上的单位向量，则极限 $$\lim \limits_{t\to 0^+}\frac {f(x_0+te)-f(x_0)}{t}$$ 称为函数f(x)在点 $x_0$处沿 $p$方向的方向导数，记作 $\frac {\partial f(x_0)}{\partial p}$
定理2:设 $f:R^n \to R^1$在点 $x_0$处可微，则 $$\frac {\partial f(x)}{\partial p} = \nabla f(x_0)^Te$$ 其中 $e$是 $p$方向上的单位向量。
方向导数 $\frac {\partial f(x_0)}{\partial p}$又可以称为函数 $f(x)$在点 $x_0$处沿 $p$方向的变化率。梯度方向是函数值的最速上升方向；函数在与梯度正交的方向上变化率为0。

Hesse矩阵

定义1设$g:D\subseteq R^n \to R^m,x_0\in D$。如果 $g(x)$的所有分量 $g_1(x),g_2(x),\cdot\cdot\cdot,g_m(x)$在点 $x_0$都可微，那么成向量值函数 $g(x)$在点 $x_0$处可微。

∇g(x0)=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂g1(x0)∂x1∂g1(x0)∂x2⋅⋅⋅∂g1(x0)∂xn∂g2(x0)∂