机器学习-数学

研究机器学习，线性代数和统计学是最重要和不可缺少。这代表了机器学习中最主流的两大类方法的基础。一种是以研究函数和变换为重点的代数方法，比如Dimension reduction,feature extraction,Kernel等，一种是以研究设计模型和样本分布为重点的统计方法，比如Graphical model,Information theoretical models等。侧重点不同，但是常常z共同使用，对于代数方法，往往需要统计上的解释，对于统计模型，其具体计算需要代数的帮助。

Calculus(微积分)，只是数学分析体系的基础。机器学习的大部分问题是在连续的度量空间进行的，无论是代数还是统计，在研究优化问题的时候，对一个映射的微积分或者梯度的分析总是不可避免。在统计学中，Marginalization和积分是密不可分的，不过以解析形式吧积分导出来的情况则不多见。

Partial Differential Equation(偏微分方程)，这主要用于描述动态过过程，或者仿动态过程。这个学科在Vision中用的多。主要用于描述连续场的运动或者扩散过程。

Functional Analysis(泛函分析)，通俗的讲理解为微积分从有限维的空间到无限维空间的拓展。在泛函里面Kernel是建立整个博大的代数体系的根本。

Measure Theory(测度理论)，这是和实分析非常密切的学科。测度理论对于机器学习的意义是根本，现在统计学的整个就是机建立在测度理论的基础之上。

Topolopy(拓扑学)，是学术中和基础的学科。一般不直接提供方法，但是有很多的概念和定理是其它数学分支的基石。

Differential Manifold(微分流行)，通俗的讲就是平滑的曲面。本质上讲，微分流行研究的是平滑的拓扑结构。一个空间构成微分流行的基本要素是局部平滑：从拓扑学上理解，就是它的任意局部都同肧于欧氏空间，从解析角度的角度看，就是相容的局部坐标体系。在全局上，它不要求和欧氏空间同肧。它除了可以用于刻画集合上的平滑曲线面外，更重要的意义在于，它可以研究很多重要的集合。

Lie Group Theory(李群轮)，一般意义的群论在机器学习中被应用的不是很多。定义在平滑流行上的群，并且其群运算是平滑的话，那么这就叫李群。由于机器学习和编码不同，更多的关注的是连续空间，因为Lie Group在各种群中对于机器学习特别重要。各种子空间，线性变换，非奇异矩阵都是基于通常意义的矩阵乘法构成李群。在李群的映射，变换，度量，划分等等都是对于机器学习中代数方法的研究有重要的指导意义。

Graph theory(图论)，图，在机器学习中的一个重要的应用就是graphical models，它被成功的运用于分析统计网络的结构和规划统计推断的流程。在Vision里面，，maxflow算法在图像分割，Stereo还有各种能量优化中也广受应用。另外一个中要的图论分支就是Algebraic graph theory(代数图论)，主要用于图的谱分析，注明的应用包括Normalized Cut和Spectral Clustering。