【机器学习】数学基础——微积分篇

一、O(n)与o(n)

order 阶
维基百科：https://en.wikipedia.org/wiki/Big_O_notation

O(n)：$\exists x_0,M,使得x⩾x_0时，有f(x)⩽Mg(x)。$
  要点：$g(x)$的常数倍$M$可以限制住$f(x)$

o(n)： $\forall \epsilon ,\exists x_0,使得x⩾x_0时，f(x)⩽\epsilon g(x),其中，\epsilon 可以足够小。$
  要点：$f(x)$的阶比$g(x)$要小， o(n) 比 O(n) 要严格。

二、导数、偏导数、方向导数与梯度

维基百科：https://en.wikipedia.org/wiki/Derivative
     https://en.wikipedia.org/wiki/Gradient
导数计算：https://www.derivative-calculator.net/
 
导数：指的是一元函数中，函数$y=f(x)$在某一点处沿$x$轴正方向的变化率。
$$\frac{\partial f(x)}{\partial x}=\underset{\Delta x\to 0}{\lim }\frac{f\left(x+\Delta x\right)-f\left(x\right)}{\Delta x}$$
偏导数：指的是多元函数中，函数$y=f(x_1,x_2,\dots ，x_n)$在某一点处沿某一坐标轴$(x_1,x_2,\dots ，x_n)$正方向的变化率。
$$\frac{\partial }{\partial x_j}f\left(x_0,x_1,...,x_n\right)=\underset{\Delta x\to 0}{\lim }\frac{f\left(x_0,...,x_j+\Delta x,...,x_n\right)-f\left(x_0,...,x_j,...,x_n\right)}{\Delta x}$$
方向导数：函数沿任意方向的变化率，即某一点在某一趋近方向上的导数值。
$$\frac{\partial }{\partial l}f\left(x_0,x_1,...,x_n\right)=\underset{\rho \to 0}{\lim }\frac{f\left(x_0+\Delta x_0,...,x_j+\Delta x_j,...,x_n+\Delta x_n\right)-f\left(x_0,...,x_j,...,x_n\right)}{\rho }$$$$\rho =\sqrt{{\left(\Delta x_0\right)}^2+...+{\left(\Delta x_j\right)}^2+...+{\left(\Delta x_n\right)}^2}$$
可微：具有一阶连续偏导数，意味着可微。

梯度：函数在某一点的梯度是一个向量，它的方向与取得最大方向导数的方向一致，它的模是方向导数的最大值。
$$▽f=gradf\left(x_0,x_1,...,x_n\right)=\left(\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial x_1},...,\frac{\partial f}{\partial x_n}\right)$$

三、函数逼近与泰勒展开

相关定理：
  极限：https://en.wikipedia.org/wiki/Limit_(mathematics)
  链式法则：https://en.wikipedia.org/wiki/Chain_rule
  费马定理：https://en.wikipedia.org/wiki/Fermat's_theorem_(stationary_points)
  罗尔中值定理：https://en.wikipedia.org/wiki/Rolle's_theorem
  拉格朗日中值定理：https://en.wikipedia.org/wiki/Mean_value_theorem
  柯西中值定理：https://en.wikipedia.org/wiki/Mean_value_theorem
  函数逼近：https://en.wikipedia.org/wiki/Linear_approximation
  洛必达法则：https://en.wikipedia.org/wiki/L'Hôpital's_rule
  泰勒展开：https://en.wikipedia.org/wiki/Taylor_series
  凸函数：https://en.wikipedia.org/wiki/Convex_function

费马定理：对于函数$f^{{}^{\prime }}(x)=0$，是函数在该处有极值点的必要不充分条件。

凸函数：函数的二阶导数$f^{{}^{\prime \prime }}(x)>0$，则该函数为凸函数(下)，反之$f^{{}^{\prime \prime }}(x)<0$，则该函数为上凸函数。二阶导数$f^{{}^{\prime \prime }}(x)=0$，则该点是函数的可能拐点。

函数逼近：指函数的近似表示，用于近似求解。

泰勒展开：泰勒公式是将一个在$x=x_0$处具有$n$阶导数的函数$f(x)$，利用关于$(x-x_0)$的$n$次多项式来逼近函数的方法。若函数$f(x)$在包含$x_0$的某个闭区间$[a,b]$上具有$n$阶导数，且在开区间$(a,b)$上具有$(n+1)$阶导数，则对闭区间$[a,b]$上任意一点$x$，成立下式：
$$f(x)=\frac{f(x_0)}{0!}+\frac{f^{{}^{\prime }}(x_0)}{1!}(x-x_0)+\frac{f^{{}^{\prime \prime }}(x_0)}{2!}(x-x_0{)}^2+...+\frac{f^n(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$$$R_n(x)是(x-x_0{)}^n的高阶无穷小$$

四、雅可比矩阵和Hessian矩阵

维基百科：https://en.wikipedia.org/wiki/Jacobian_matrix_and_determinant
     https://en.wikipedia.org/wiki/Hessian_matrix

梯度是标量对向量的求导，Jacobian和Hessian矩阵是向量对向量的求导，分别是一阶导矩阵和二阶导矩阵。

Jacobian矩阵：可以理解为矩阵的梯度(Matrix Gradient)。
$$\text{J}=\frac{\partial \text{f}}{\partial \text{x}}=\left[\frac{\partial \text{f}}{\partial x_1}\cdots \frac{\partial \text{f}}{\partial x_n}\right]=\left[\begin{array}{ccc}\frac{\partial f_1}{\partial x_1}& & \frac{\partial f_1}{\partial x_n}\\ & \cdots & \\ ⋮& \ddots & ⋮\\ \frac{\partial f_m}{\partial x_1}& & \frac{\partial f_m}{\partial x_n}\\ & \cdots & \end{array}\right]$$$$即{\text{J}}_{ij}=\frac{\partial f_i}{\partial x_j},m\times n阶矩阵$$$$其中，\text{f}=(f_1,...,f_m),\text{x}=(x_1,...,x_n)$$

Hessian矩阵：与多元函数的凹凸是有密切关联的。

$$\text{H}=\left[\begin{array}{cccc}\frac{{\partial }^2\text{f}}{\partial x_1^2}& \frac{{\partial }^2\text{f}}{\partial x_1\partial x_2}& & \frac{{\partial }^2\text{f}}{\partial x_1\partial x_n}\\ & & \cdots & \\ \frac{{\partial }^2\text{f}}{\partial x_2\partial x_1}& \frac{{\partial }^2\text{f}}{\partial x_2^2}& & \frac{{\partial }^2\text{f}}{\partial x_2\partial x_n}\\ & & \cdots & \\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^2\text{f}}{\partial x_n\partial x_1}& \frac{{\partial }^2\text{f}}{\partial x_n\partial x_2}& & \frac{{\partial }^2\text{f}}{\partial x_n^2}\\ & & \cdots & \end{array}\right]$$$$即{\text{H}}_{ij}=\frac{{\partial }^{2}f}{\partial x_i\partial x_j},n\times n阶对称矩阵$$$$其中，\text{f}是多元函数f(x_1,...,x_n)$$

  记$f$在$M$点处的Hessian矩阵为$\text{H}(M)$。对于$\text{H}(M)$，有如下结论：

• 当$\text{H}(M)$是正定矩阵时，函数$f$有极小值；
• 当$\text{H}(M)$是负定矩阵时，函数$f$有极大值；
• 当$\text{H}(M)$是不定矩阵时，还要看更高阶的导数。

五、拉格朗日乘数法

维基百科：https://en.wikipedia.org/wiki/Lagrange_multiplier

拉格朗日乘数法是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。用于解决约束优化问题，引入拉格朗日乘子将含有$n$个变量和$k$个约束条件的问题，转化为含有$(n+k)$个变量的无约束优化问题。

求二元函数$z=f(x,y)$在条件$\phi (x,y)=0$下的极值，可以转化为函数$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$的无条件极值问题。

要点：拉格朗日乘数法所得的极点会包含原问题的所有极值点，但并不保证每个极值点都是原问题的极值点。

令$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$，若$\Delta F(x_0,y_0,{\lambda }_0)=0$,则$(x_0,y_0,{\lambda }_0)$是函数$F(x,y,\lambda )$的驻点，通过如下步骤，得到驻点的值。
$$\{\begin{array}{c}{F}_x=0\\ F_y=0\\ F_{\lambda }=0\end{array}$$
$F(x,y,\lambda )$称为拉格朗日函数，$\lambda$称为拉格朗日乘数(Lagrange multiplier)。

六、参考资料

1. [机器学习] ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）
2. 导数、偏导数、方向导数、梯度、梯度下降
3. [视频课程]机器学习的数学基础
4. 如何直观形象的理解方向导数与梯度以及它们之间的关系？
5. 拉格朗日乘数法(Lagrange multiplier)