本文介绍了极大似然估计的概念，通过一个抽球问题展示了如何利用这一统计方法来估计未知比例。极大似然估计包括离散型和连续型统计模型，通过最大化似然函数来确定最可能的参数值。在给定的例子中，通过20次抽取得出6个白球和14个黑球，直觉上认为白球比例为6/20，黑球为14/20。利用极大似然估计，我们可以通过数学推导得出估计的白球比例为6/(6+14)，即30%。
首先，举个生活中的一个小栗子，假设现在有一个盒子，里面有黑白两种颜色的球，数目未知且颜色的比例未知，现从盒子里随机抽取一个球，并记录它的颜色，然后再把球放回盒子里，再取。总共取了20次，通过统计发现有6个白球，14个黑球。你通过直觉认为这个盒子里白球占的比例为6/20，黑色球所占的比例为14/20。
而这仅仅是直觉，是你的猜想，但是在数学这门学科，它是严谨的，是需要理论支撑的，因此我们希望用一些理论去支撑我们的猜想和直觉，用这些理论去估计概率，然后分析其偏差和方差。而这里我们经常用的理论就是极大似然估计。
从上个例子可以看出，极大似然估计的目的在于，利用已知的样本结果（白球占的比例为6/20，黑色球所占的比例为14/20），反推最大概率得到这些结果的参数值，即这些参数值能够使得样本出现的概率最大（这里是白球占的比例为6/20，黑色球所占的比例为14/20）。
极大似然估计有两个模型，一个是离散型统计模型，一个是连续型统计模型，如下所示。
离散型统计模型：
L
(
θ
)
=
∏
i
=
1
n
p
θ
(
x
=
x
i
)
L(\theta )=\prod_{i=1}^{n}p_{\theta }(x=x_{i})
L(θ)=i=1∏npθ(x=xi)
连续性统计模型：
L
(
θ
)
=
∏
i
=
1
n
f
(
x
i
,
θ
)
L(\theta )=\prod_{i=1}^{n}f(x_{i},\theta)
L(θ)=i=1∏nf(xi,θ)
将上个例子进行抽象化，总共抽取n个样本，黑球有n1个，白球有n2个。
| X | 白球 | 黑球 |
|---|---|---|
| p | θ | 1-θ |
直觉告诉我们θ=n1/n
如果用极大似然估计理论去解释这个直觉，一般先列出极大似然估计函数，是关于θ的函数，因为要将实际值趋向理论值，则要取该函数的最大值，即求导数，在这个过程中为了方便计算，通过等号两边同时取对数，然后再求导，过程如下：
先写出极大似然函数
L
(
θ
)
=
θ
n
1
(
1
−
θ
)
n
2
L(\theta )=\theta ^{n1}(1 - \theta) ^{n2}
L(θ)=θn1(1−θ)n2
使L(θ)取得最大值
l
n
L
(
θ
)
=
n
1
l
n
θ
+
n
2
l
n
(
1
−
θ
)
lnL(\theta )= n1ln\theta + n2ln(1-\theta)
lnL(θ)=n1lnθ+n2ln(1−θ)
等号两边同时对θ求导
d
l
n
L
(
θ
)
d
θ
=
n
1
θ
+
n
2
1
−
θ
=
0
\frac{dlnL(\theta)}{d\theta}= \frac{n1}{\theta} +\frac{n2}{1-\theta}=0
dθdlnL(θ)=θn1+1−θn2=0
因此
θ
^
=
n
1
n
1
+
n
2
=
n
1
n
\hat{\theta}=\frac{n1}{n1+n2}=\frac{n1}{n}
θ^=n1+n2n1=nn1
942
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
