机器学习需要的数学基础

-----  来自于一个  培训班讲义

高等数学课程

         1、概率论基础（4个课时）+分布

                   概率论基本概念：随机试验，样本空间，频率和概率，条件概率和独立性

                   随机变量及其分布：随机变量，离散型随机变量及其分布，连续型随机变量及其分布。

                   多维随机变量及其分布：二维随机变量，边缘分布，条件分布，相互独立的随机变量，随机变量的函数分布

                   随机变量的数值特征：期望，方差，协方差和相关系数，矩和协方差矩阵

                   可以涉及：大数定律和中心极限定理。

         2、代数与几何基础       （4个课时到5个课时）

                   矩阵与线性方程组：向量和矩阵，向量无关性与非奇异矩阵，

                   内积和范数，矩阵的二次型，迹和行列式，矩阵的秩，矩阵的逆

                   特殊矩阵：正定矩阵，上三角矩阵，正交矩阵，对称矩阵

                   特征分析：矩阵的特征值和特征向量

                   矩阵变换：Cholesky 分解，LU分解，QR分解和SVD分解

                   几何：平面方程和空间直线方程，线性图形的几何问题，平面正交变换，仿射变换，射影平面和齐次坐标

                  

         3、微积分基础  （3到4个课时）

                   1、极限和连续和导数的定义，方向导数的定义，以及常见函数的导数，Taylor展开，Lipschitz常数，矩阵的梯度分析

                   2、凸集和凸函数的定义，凸函数的性质，分割超平面，可微性问题。

        

         4、凸优化基础

                   1、无约束优化   （2个课时）

                            最优性条件

                            梯度下降法和最速下降法

                            牛顿法和拟牛顿法

                            非导数方法

                   2、凸集上的优化问题  （2个课时）

                            最优解条件，可行方向和条件梯度法，梯度投影法

                   3、线性搜索的步长选择（1个课时）

                   4、带约束的优化问题  （4个课时）

                            1、拉格朗日乘子理论和拉格朗日乘子法

                                     等式约束，内点法，拉格朗日函数，扩张拉格朗日函数，不等式约束，KKT条件

                            2、对偶性和对偶方法

                                     对偶问题，强弱对偶性，互补松弛性，主函数和对偶函数，对偶上升法，次梯度法和切平面方法

                  

         5、机器学习中的优化方法  （3个课时）

                   1  SVM对偶问题和基于CDN的Trust Region算法

                   2、基于拟牛顿法的LBFGS求解LR问题

                   3、基于近似梯度法的ISTA和基于扩张拉格朗日乘子法的ADMM求解带L1范数的稀疏优化问题。