极大似然估计和最大熵模型

极大似然估计 

极大似然估计是建立在极大似然基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如若有若干个可能的结果A,B,C,...,若在一次试验中，A出现了，那么可以认为试验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面的例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球，99个黑球。现在随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这是我们自然可以认为这个黑球是乙箱的。

一般来说，事件A发生的概率与某一未知参数 \(\theta\)有关，\(\theta\)取值不同，则事件A发生的概率\(P(A|\theta)\)也不同，当我们在一次试验中事件A发生了，则认为此时的\(\theta\)值应该是t的一切可能取值中使得\(P(A|\theta)\)达到最大的那一个，极大似然估计就是要选择这样的t值作为参数\(\theta\)的估计值，使所选取的样本在被选出的总体中出现的可能性为最大。

假设总体分布为\(f(x,\theta)\), \(X_1,X_2,X_3,...,X_n\)为该总体采样取得的样本。因为\(X_1,X_2,X_3,...,X_n\)是独立同分布的，于是，它的联合概率密度函数为：
\begin{equation}
L(X_1,X_2,...,X_n;\theta_1,\theta_2,...,\theta_k)=\prod_{i=1}^{n}f(x_{i};\theta_{1},\theta_{2},...,\theta_{k})
\end{equation}
在上面的这个式子中，\(\theta\)被看作是确定但是未知的参数，并且应为样本已经存在，