极大似然估计

在机器学习的领域内，极大似然估计是最常见的参数估计的方法之一，在这里整理一下它的基本原理。

极大似然估计从根本上遵循——眼见为实，这样的哲学思想。也就是说，它严格地仅仅利用了已知的实验结果，来估计概率模型中的参数。

极大似然估计的计算过程非常简单：

1.写出似然函数

2.求出使得似然函数取最大值的参数的值，这个值就是我们对概率模型中参数值的极大似然估计。

所以，要理解极大似然估计的原理，首先我们得理解什么是似然函数。

举个例子，我们连续掷2次硬币，正面记为H，反面记为T。当硬币质地均匀，出现正反面的概率都是0.5时，P(HH)=0.25。把前一句话全部用数学符号来表达，就是P(HH|H=0.5)=0.25。对于这个式子，我们可以这么理解：当硬币的正反面概率都是0.5时，抛硬币连续出现两次正面的概率是0.25。现在，我们改写一