机器学习中的数学基础

对于想入门机器学习的同学，很多时候都会觉得数学基础是一道坎，所以，本文将讲述机器学习中所涉及的数学基础。

数学是基石，算法是利器，编程是工具。三者对于机器学习都很重要。机器学习中大量的问题最终都可以归结为一个优化问题，而微积分、概率、线性代数和矩阵是优化的基础。所以，下面将以四个方面来叙述机器学习中的数学基础。

1.微积分重点

1.1 导数

• 导数的定义：

  ${f}^{'}(a)=\lim_{h\rightarrow 0}\frac{f(a+h)-f(a)}{h}$

• 常见函数的导数

  

• 导数求导法则

  

1.2 梯度和Hessian矩阵

• 梯度：

  

• Hessian矩阵

  

1.3 泰勒级数与极值

• 泰勒级数展开（标量）

  

  若存在${f}^{'}({x}_{k})=0$，则称${x}_{k}$为平稳点。此时，如果${f}^{''}({x}_{k})>0$，则称${x}_{k}$为严格局部极小点，如果${f}^{''}({x}_{k})<0$，则称${x}_{k}$为严格局部极大点。如果${f}^{''}({x}_{k})=0$，则${x}_{k}$有可能是一个鞍点。

• 泰勒级数展开（矢量）

  

  

2.概率论重点

2.1 随机变量

• 累积分布函数

  

• 概率密度函数

  

2.2 高斯分布

• 概率密度函数

  

  

2.3 贝叶斯公式

• 概念

  贝叶斯公式作为机器学习中最重要的公式，所以一定得理解它。贝叶斯公式所解决的问题就是由P(A|B)求解出P(B|A)，如果此时，我们把A当做机器学习中的标记值，把B当做特征值。那么，从贝叶斯的角度解释机器学习为：已知许多已知标签的特征值，求得一组新的特征值所表示的标记值。

• 公式：

  

3.矩阵重点

3.1 方阵的特征值与特征向量

• 定义

  

• 性质

  

  

  

3.2 二次型

• 概念

  

3.3 特征分解的应用-PCA

• PCA本质

  

  

• PCA例子

  

4.凸优化重点

• 约束优化问题

  

• 约束优化问题存在极值点的必要条件-KKT条件

  

到此，就叙述完机器学习中十分重要的数学基础了。其中，文中的截图均来至于参考文献。

参考文献

【1】5月深度学习班-程博士