极大似然估计

概率与似然

引用维基百科上对概率与似然的描述

• 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性
• 在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

以上这段话就概括得还是挺抽象了，"概率"和"似然"其实是从不同的角度去看待事件发生的可能性。以抛一枚硬币为例子(随机变量是离散型)，样本空间 Ω = { 正 , 反 } \Omega =\lbrace 正,反 \rbrace Ω={正,反}、对于随机变量$X$，当$w=$"正"时，观察值$x_1=X=1$；当$w=$"反"时有观察值$x_2=X=0$ 、 θ = { 均质 , 非均质 } \theta=\lbrace 均质,非均质 \rbrace θ={均质,非均质}，有以下分布律(叫概率函数更容易理解吧)
$$P(x_i;\theta )$$
$P(x_i;\theta )$是函数模型，$x_i$表示一个具体的样本观察值；$\theta$表示模型的参数。

• 如果$\theta$是已知确定的(均质)，$x_i$是变量，这个函数叫做概率函数(probability function)，它描述对于出现出面还是反面，其出现的可能性(概率)是多少。
• 如果$x_i$是已知确定的(正面向上)，$\theta$是变量(未确定硬币的质量分布，不同的分布可能导致硬币更容易正面向上或反面向上)，这个函数叫做似然函数(likelihood function), 它描述对于不同的质量分布，出现下面向上这种情况可能性(似然)是多少。

概率是给定某一参数值，求某一结果的可能性； 似然是给定某一结果，求某一参数值的可能性。

似然函数

似然函数是一种关于统计模型中的参数的函数，分别就总体$\xi$是离散型分布以及连续型分布的情况说明似然函数的形式,设$x_1,x_2......x_n$是取自总体$\xi$的一个样本

设总体$\xi$为离散型分布，其分布律为
$$P(\xi =x_i)=p(x_i;\theta )(i=1,2,3,...,n)$$
其中$\theta$为未知参数，对给定的样本观察值$x_1,x_2......x_n$，令
$$L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )i\ge 1$$

若总体为连续分布，其密度函数为$f(x;\theta )$，其中$\theta$为未知参数，对给定的样本观察值$x_1,x_2,...,x_n$(已发生的，确定的)，令
$$L(x_1,x_2,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )i\ge 1$$

可以看出，似然函数$(x_1,x_2,...,x_n;\theta )$是未知参数$\theta$的函数，它反映了对给定的样本观察值被取到的可能性(对于不同的$\theta$被取到的可能性不同)，我们所关注的是，什么情况下最有可能取到，当似然函数值最大的时候表示可能性达到最大，此时也会对应得到一个具体的参数$\theta$，如果用$\hat{\theta }$表示，那么就称$\hat{\theta }$为$\theta$的最大似然估计，即
$$L(x_1,x_2,...,x_n;\hat{\theta })=maxL(x_1,x_2,...,x_n;\theta )$$

最大似然估计是根据已知的样本的结果，反向推测最有可能得到这样结果的模型的参数值。

了解了最大似然估计的意义，下面就是求最大值的数学问题，一般通过求导数来解。

实例计算

首先来约定一个表达式$d->P_x(0<x<1)$，它表示：硬币质量分布为$d$时，此时随机抛一次得到正面向上的概率$p=x$

如果我们知道硬币是均质的($d->P_{0.5}$)，那么"抛10次得到6次正面向上"的概率约为0.205

问题：如果在不知道硬币的质量分布$\theta$的情况下进行了10次试验，最终也是得到6次正面向上的结果(1,0,1,1,0,0,0,1,1,1)，那么能不能得到硬币的质量分布最可能是怎么样的???

1.找到分布律

抛硬币试验服从二项分布，总体可以看成无限大(无穷无尽地抛下去)，质量分布未知时，出现正面向上的概率为p，则反面向上的概率为1-p,出现下面向上的次数$\xi$是二项分布随机变量，其它取值可能是：0，1，2，…，k，…，n；有如下分布律
$$P(\xi =k)=C_n^k{p}^k(1-p{)}^{n-k}$$
其中n表示抛n次，k表示得到k次正面向上

2.写出似然函数
$$L(1,0,1,1,0,0,0,1,1,1;\theta )=P(\xi =6)=C_{10}^6{p}^6(1-p{)}^4$$

3.求导数
对上式取对数得到对似然方程
$$lnL(1,0,1,1,0,0,0,1,1,1;\theta )=ln{C}_{10}^6+6lnp+4ln(1-p)$$
再对p进行求导
$$\frac{dlnL}{dp}=\frac{6}{p}-\frac{4}{1-p}=0$$
解得$p=0.6$，它的意思是，硬币的质量分布为$d->P_{0.6}$时，最有可能出现“抛10次得到6次正面向上”这种结果

如果不使用最大似然估计的解法，把各种质量分布情况下得到“抛10次得到6次正面向上”这种结果的可能性列举出来，可以看到$d->P_{0.6}$时最有可能，而出现这种结果且硬币是匀质($d->P_{0.5}$)的可能性为0.205078125

质量分布	抛10次得到6次正面向上的概率
$d->P_{0.1}$	0.000137781
$d->P_{0.2}$	0.005505024
$d->P_{0.3}$	0.0367569
$d->P_{0.4}$	0.111476736
$d->P_{0.5}$	0.205078125
$d->P_{0.6}$	0.250822655
$d->P_{0.7}$	0.200120949
$d->P_{0.8}$	0.088080383
$d->P_{0.9}$	0.011160260

参考

1.《概率论与数理统计》 郝志峰 谢国瑞 汪国强
2. 概率（probability)、似然（likelihood)、极大似然法：http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html)
3. 似然（likelihood）与概率（probability）的区别：http://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/