极大似然估计
极大似然估计是建立在极大似然基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如若有若干个可能的结果A,B,C,...,若在一次试验中,A出现了,那么可以认为试验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面的例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球,99个黑球。现在随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这是我们自然可以认为这个黑球是乙箱的。
一般来说,事件A发生的概率与某一未知参数 \(\theta\)有关,\(\theta\)取值不同,则事件A发生的概率\(P(A|\theta)\)也不同,当我们在一次试验中事件A发生了,则认为此时的\(\theta\)值应该是t的一切可能取值中使得\(P(A|\theta)\)达到最大的那一个,极大似然估计就是要选择这样的t值作为参数\(\theta\)的估计值,使所选取的样本在被选出的总体中出现的可能性为最大。
假设总体分布为\(f(x,\theta)\), \(X_1,X_2,X_3,...,X_n\)为该总体采样取得的样本。因为\(X_1,X_2,X_3,...,X_n\)是独立同分布的,于是,它的联合概率密度函数为:
\begin{equation}
L(X_1,X_2,...,X_n;\theta_1,\theta_2,...,\theta_k)=\prod_{i=1}^{n}f(x_{i};\theta_{1},\theta_{2},...,\theta_{k})
\end{equation}
在上面的这个式子中,\(\theta\)被看作是确定但是未知的参数,并且应为样本已经存在,