研究机器学习,线性代数和统计学是最重要和不可缺少。这代表了机器学习中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法,比如Dimension reduction,feature extraction,Kernel等,一种是以研究设计模型和样本分布为重点的统计方法,比如Graphical model,Information theoretical models等。侧重点不同,但是常常z共同使用,对于代数方法,往往需要统计上的解释,对于统计模型,其具体计算需要代数的帮助。
Calculus(微积分),只是数学分析体系的基础。机器学习的大部分问题是在连续的度量空间进行的,无论是代数还是统计,在研究优化问题的时候,对一个映射的微积分或者梯度的分析总是不可避免。在统计学中,Marginalization和积分是密不可分的,不过以解析形式吧积分导出来的情况则不多见。
Partial Differential Equation(偏微分方程),这主要用于描述动态过过程,或者仿动态过程。这个学科在Vision中用的多。主要用于描述连续场的运动或者扩散过程。
Functional Analysis(泛函分析),通俗的讲理解为微积分从有限维的空间到无限维空间的拓展。在泛函里面Kernel是建立整个博大的代数体系的根本。
Measure Theory(测度理论),这是和实分析非常密切的学科。测度理论对于机器学习的意义是根本,现在统计学的整个就是机建立在测度理论的基础之上。
Topolopy(拓扑学),是学术中和基础的学科。一般不直接提供方法,但是有很多的概念和定理是其它数学分支的基石。
Differential Manifold(微分流行),通俗的讲就是平滑的曲面。本质上讲,微分流行研究的是平滑的拓扑结构。一个空间构成微分流行的基本要素是局部平滑:从拓扑学上理解,就是它的任意局部都同肧于欧氏空间,从解析角度的角度看,就是相容的局部坐标体系。在全局上,它不要求和欧氏空间同肧。它除了可以用于刻画集合上的平滑曲线面外,更重要的意义在于,它可以研究很多重要的集合。
Lie Group Theory(李群轮),一般意义的群论在机器学习中被应用的不是很多。定义在平滑流行上的群,并且其群运算是平滑的话,那么这就叫李群。由于机器学习和编码不同,更多的关注的是连续空间,因为Lie Group在各种群中对于机器学习特别重要。各种子空间,线性变换,非奇异矩阵都是基于通常意义的矩阵乘法构成李群。在李群的映射,变换,度量,划分等等都是对于机器学习中代数方法的研究有重要的指导意义。
Graph theory(图论),图,在机器学习中的一个重要的应用就是graphical models,它被成功的运用于分析统计网络的结构和规划统计推断的流程。在Vision里面,,maxflow算法在图像分割,Stereo还有各种能量优化中也广受应用。另外一个中要的图论分支就是Algebraic graph theory(代数图论),主要用于图的谱分析,注明的应用包括Normalized Cut和Spectral Clustering。