最大似然估计是机器学习领域最为常见的用来构建目标函数的方法。它的核心思想是根据观测到的结果来预测其中的未知参数。
我们举一个投掷硬币的例子。
假设有一枚硬币,它是不均匀的,也就是说出现正面的反面的概率是不同的。假设我们设定这枚硬币出现正面的概率为θ , 这里 指的是正面(head), 类似的还会有反面(tail)。假设我们投掷6次之后得到了以下的结果,而且我们假定每次投掷都是相互独立的事件:D={H,T,T,H,H,H},其中D表示所观测到的所有样本。
从这个结果其实谁都可以很容易说出θ,也就是出现正面的概率为4/6,其实我们在无意识中使用了最大似然估计法。
接下来,我们从更严谨的角度来定义最大似然下的目标函数。基于最大似然估计法,我们需要最大化观测到样本的概率,即p(D)。进一步可以写成:p(D)=p(H,T,T,H,H,H)=θ*(1-θ)(1-θ)θθθ,我们的目标是最大化概率值L=θ*(1-θ)(1-θ)θθθ 。那这部分的优化即可以采用上面所提到的方法。令L’= 4θ3(1-θ)2-θ42(1-θ)=0,把这个式子整理完之后即可以得到θ=2/3, 结果跟一开始我们算出来的是一致的。