简单了解最大似然估计

最大似然估计是机器学习领域最为常见的用来构建目标函数的方法。它的核心思想是根据观测到的结果来预测其中的未知参数。

我们举一个投掷硬币的例子。

假设有一枚硬币，它是不均匀的，也就是说出现正面的反面的概率是不同的。假设我们设定这枚硬币出现正面的概率为θ , 这里 指的是正面(head), 类似的还会有反面（tail）。假设我们投掷6次之后得到了以下的结果，而且我们假定每次投掷都是相互独立的事件：D={H,T,T,H,H,H}，其中D表示所观测到的所有样本。

从这个结果其实谁都可以很容易说出θ，也就是出现正面的概率为4/6，其实我们在无意识中使用了最大似然估计法。

接下来，我们从更严谨的角度来定义最大似然下的目标函数。基于最大似然估计法，我们需要最大化观测到样本的概率，即p(D)。进一步可以写成：p(D)=p(H,T,T,H,H,H)=θ*(1-θ)(1-θ)θθθ，我们的目标是最大化概率值L=θ*(1-θ)(1-θ)θθθ 。那这部分的优化即可以采用上面所提到的方法。令L’= 4θ3(1-θ)2-θ42(1-θ)=0，把这个式子整理完之后即可以得到θ=2/3, 结果跟一开始我们算出来的是一致的。