最大似然估计

来自http://blog.sina.com.cn/s/blog_78fd98af0100xk7k.html

通俗的说说最大似然估计吧，文绉绉的概念和严谨的公式推导总是记不住，又让人昏昏欲睡....

1.什么是最大似然估计

   如果我们知道样本（数据）所服从的概率分布的模型，而不知道该模型中的参数，例如：高斯模型的参数：均值u，及方差sigma。最大似然估计就是用来估计模型参数的统计学方法。

2.如何估计

   我们有什么可以利用的信息呢？样本，概率分布模型。根据什么道理来估计呢？我们从总体中能够获得这些样本，为什么能获得，应该是获得这样的样本组合的概率最大。这样就将参数估计问题转化到最优化问题了。求最值，最简单的方法就是求导数，令导数为零，解方程。

   设样本：，概率分布模型：f，要估计的参数θ，优化目标函数：

3.求解

   首先假设样本独立同分布，则问题转化为：

    

   在实际应用中常用的是两边取对数，得到公式如下：

   

我们要求的一个参数θ使得f(x1,x2,..,xn|θ)的概率最高，即求∏f(xi|θ)概率最高。因为我们知道概率模型，只是不知道该模型的参数θ，而每一个f(xi|θ)又可以用该模型的公式写出来，因为xi已知所以f(xi|θ)是一个带θ的表达式。∏f(xi|θ)是这么多表达式的连乘，里面只有一个未知数θ，求最大值就可以利用梯度下降或代数方法等等求。

其中称为对数似然，而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：

 　　

4.注意

（1）样本要满足的独立同分布  

（2）参数 θ为参数向量，不一定就是一个数。

（3）求解上面的优化问题的方法可以用导数的方法，但有时可能解不唯一；有时可能行不通。所以也可以用其他优化方法。