机器学习数学原理（1）——极大似然估计法

机器学习数学原理（1）——极大似然估计法

事实上机器学习的大部分算法都是以数理统计和概率论为理论基础构建的。笔者在学习机器学习的过程中，意识到其实机器学习中的很多假设背后都是有着数学原理支撑的，从而使得这些假设不再是“看似合理”。这里笔者便将一些学习过程中的理解整理成一个系列，希望能够在帮助自己整理知识结构体系的同时，也能给大家带来一些帮助。资料参考的是华中科技大学出版社出版由刘次华主编的《概率论与数理统计（第二版）》以及斯坦福公开课CS229（Andrew Ng）。

需要说明的是，这个系列可能不会在应用机器学习方面有太大的帮助，因为博文偏向于原理性而不是如何使用。如果读者希望深入了解机器学习，希望理解机器学习的本质，相信这篇博文能够给大家一些帮助。老规矩，由于笔者实力实在有限，如果有任何错误或者不妥的地方，欢迎大家批评之处。

这个系列的第一篇博文笔者就准备给极大似然估计法了\^_^/。

1 极大似然估计法介绍

极大似然估计法（the Principle of Maximum Likelihood ）由高斯和