概率与似然
引用维基百科上对概率与似然的描述
- 在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。似然函数在统计推断中有重大作用,如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性
- 在统计学中,“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下,预测接下来的观测所得到的结果,而似然性则是用于在已知某些观测所得到的结果时,对有关事物的性质的参数进行估计。
以上这段话就概括得还是挺抽象了,"概率"和"似然"其实是从不同的角度去看待事件发生的可能性。以抛一枚硬币为例子(随机变量是离散型),样本空间
Ω
=
{
正
,
反
}
\Omega =\lbrace 正,反 \rbrace
Ω={正,反}、对于随机变量
X
X
X,当
w
=
w=
w="正"时,观察值
x
1
=
X
=
1
x_1=X=1
x1=X=1;当
w
=
w=
w="反"时有观察值
x
2
=
X
=
0
x_2=X=0
x2=X=0 、
θ
=
{
均质
,
非均质
}
\theta=\lbrace 均质,非均质 \rbrace
θ={均质,非均质},有以下分布律(叫概率函数更容易理解吧)
P
(
x
i
;
θ
)
P(x_i;θ)
P(xi;θ)
P
(
x
i
;
θ
)
P(x_i;θ)
P(xi;θ)是函数模型,
x
i
x_i
xi表示一个具体的样本观察值;
θ
θ
θ表示模型的参数。
- 如果
θ
θ
θ是已知确定的(均质),
x
i
x_i
xi是变量,这个函数叫做概率函数(probability function),它描述对于出现出面还是反面,其出现的可能性(
概率
)是多少。 - 如果
x
i
x_i
xi是已知确定的(正面向上),
θ
θ
θ是变量(未确定硬币的质量分布,不同的分布可能导致硬币更容易正面向上或反面向上),这个函数叫做似然函数(likelihood function), 它描述对于不同的质量分布,出现下面向上这种情况可能性(
似然
)是多少。
概率是给定某一参数值,求某一结果的可能性; 似然是给定某一结果,求某一参数值的可能性。
似然函数
似然函数是一种关于统计模型中的参数的函数,分别就总体 ξ \xi ξ是离散型分布以及连续型分布的情况说明似然函数的形式,设 x 1 , x 2 . . . . . . x n x_1,x_2......x_n x1,x2......xn是取自总体 ξ \xi ξ的一个样本
设总体
ξ
\xi
ξ为离散型分布,其分布律为
P
(
ξ
=
x
i
)
=
p
(
x
i
;
θ
)
(
i
=
1
,
2
,
3
,
.
.
.
,
n
)
P(\xi=x_i)=p(x_i;\theta) \quad (i=1,2,3,...,n)
P(ξ=xi)=p(xi;θ)(i=1,2,3,...,n)
其中
θ
\theta
θ为未知参数,对给定的样本观察值
x
1
,
x
2
.
.
.
.
.
.
x
n
x_1,x_2......x_n
x1,x2......xn,令
L
(
x
1
,
x
2
,
.
.
.
,
x
n
;
θ
)
=
∏
i
=
1
n
p
(
x
i
;
θ
)
i
≥
1
L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^np(x_i;\theta) \quad i \ge 1
L(x1,x2,...,xn;θ)=i=1∏np(xi;θ)i≥1
若总体为连续分布,其密度函数为
f
(
x
;
θ
)
f(x;\theta)
f(x;θ),其中
θ
\theta
θ为未知参数,对给定的样本观察值
x
1
,
x
2
,
.
.
.
,
x
n
x_1,x_2,...,x_n
x1,x2,...,xn(已发生的,确定的),令
L
(
x
1
,
x
2
,
.
.
.
,
x
n
;
θ
)
=
∏
i
=
1
n
f
(
x
i
;
θ
)
i
≥
1
L(x_1,x_2,...,x_n;\theta)=\prod_{i=1}^nf(x_i;\theta) \quad i \ge 1
L(x1,x2,...,xn;θ)=i=1∏nf(xi;θ)i≥1
可以看出,似然函数
(
x
1
,
x
2
,
.
.
.
,
x
n
;
θ
)
(x_1,x_2,...,x_n;\theta)
(x1,x2,...,xn;θ)是未知参数
θ
\theta
θ的函数,它反映了对给定的样本观察值被取到的可能性(对于不同的
θ
\theta
θ被取到的可能性不同),我们所关注的是,什么情况下最有可能取到,当似然函数值最大的时候表示可能性达到最大,此时也会对应得到一个具体的参数
θ
\theta
θ,如果用
θ
^
\hat \theta
θ^表示,那么就称
θ
^
\hat \theta
θ^为
θ
\theta
θ的最大似然估计,即
L
(
x
1
,
x
2
,
.
.
.
,
x
n
;
θ
^
)
=
m
a
x
L
(
x
1
,
x
2
,
.
.
.
,
x
n
;
θ
)
L(x_1,x_2,...,x_n;\hat \theta)=maxL(x_1,x_2,...,x_n;\theta)
L(x1,x2,...,xn;θ^)=maxL(x1,x2,...,xn;θ)
最大似然估计是根据已知的样本的结果,反向推测最有可能得到这样结果的模型的参数值。
了解了最大似然估计的意义,下面就是求最大值的数学问题,一般通过求导数来解。
实例计算
首先来约定一个表达式 d − > P x ( 0 < x < 1 ) d−>P_x(0<x<1) d−>Px(0<x<1),它表示:硬币质量分布为 d d d时,此时随机抛一次得到正面向上的概率 p = x p=x p=x
如果我们知道硬币是均质的(
d
−
>
P
0.5
d->P_{0.5}
d−>P0.5),那么"抛10次得到6次正面向上"的概率约为0.205
问题:如果在不知道硬币的质量分布 θ \theta θ的情况下进行了10次试验,最终也是得到6次正面向上的结果(1,0,1,1,0,0,0,1,1,1),那么能不能得到硬币的质量分布最可能是怎么样的???
1.找到分布律
抛硬币试验服从二项分布,总体可以看成无限大(无穷无尽地抛下去),质量分布未知时,出现正面向上的概率为p,则反面向上的概率为1-p,出现下面向上的次数
ξ
\xi
ξ是二项分布随机变量,其它取值可能是:0,1,2,…,k,…,n;有如下分布律
P
(
ξ
=
k
)
=
C
n
k
p
k
(
1
−
p
)
n
−
k
P(\xi=k)=C_n^kp^k(1-p)^{n-k}
P(ξ=k)=Cnkpk(1−p)n−k
其中n表示抛n次,k表示得到k次正面向上
2.写出似然函数
L
(
1
,
0
,
1
,
1
,
0
,
0
,
0
,
1
,
1
,
1
;
θ
)
=
P
(
ξ
=
6
)
=
C
10
6
p
6
(
1
−
p
)
4
L(1,0,1,1,0,0,0,1,1,1;\theta)=P(\xi=6)=C_{10}^6p^6(1-p)^4
L(1,0,1,1,0,0,0,1,1,1;θ)=P(ξ=6)=C106p6(1−p)4
3.求导数
对上式取对数得到对似然方程
l
n
L
(
1
,
0
,
1
,
1
,
0
,
0
,
0
,
1
,
1
,
1
;
θ
)
=
l
n
C
10
6
+
6
l
n
p
+
4
l
n
(
1
−
p
)
lnL(1,0,1,1,0,0,0,1,1,1;\theta)=lnC_{10}^6+6lnp+4ln(1-p)
lnL(1,0,1,1,0,0,0,1,1,1;θ)=lnC106+6lnp+4ln(1−p)
再对p进行求导
d
l
n
L
d
p
=
6
p
−
4
1
−
p
=
0
\frac{dlnL}{dp}=\frac{6}{p}-\frac{4}{1-p}=0
dpdlnL=p6−1−p4=0
解得
p
=
0.6
p=0.6
p=0.6,它的意思是,硬币的质量分布为
d
−
>
P
0.6
d->P_{0.6}
d−>P0.6时,最有可能出现“抛10次得到6次正面向上”这种结果
如果不使用最大似然估计的解法,把各种质量分布情况下得到“抛10次得到6次正面向上”这种结果的可能性列举出来,可以看到 d − > P 0.6 d->P_{0.6} d−>P0.6时最有可能,而出现这种结果且硬币是匀质( d − > P 0.5 d−>P_{0.5} d−>P0.5)的可能性为0.205078125
质量分布 | 抛10次得到6次正面向上的概率 |
---|---|
d − > P 0.1 d−>P_{0.1} d−>P0.1 | 0.000137781 |
d − > P 0.2 d−>P_{0.2} d−>P0.2 | 0.005505024 |
d − > P 0.3 d−>P_{0.3} d−>P0.3 | 0.0367569 |
d − > P 0.4 d−>P_{0.4} d−>P0.4 | 0.111476736 |
d − > P 0.5 d−>P_{0.5} d−>P0.5 | 0.205078125 |
d − > P 0.6 d−>P_{0.6} d−>P0.6 | 0.250822655 |
d − > P 0.7 d−>P_{0.7} d−>P0.7 | 0.200120949 |
d − > P 0.8 d−>P_{0.8} d−>P0.8 | 0.088080383 |
d − > P 0.9 d−>P_{0.9} d−>P0.9 | 0.011160260 |
参考
1.《概率论与数理统计》 郝志峰 谢国瑞 汪国强
2. 概率(probability)、似然(likelihood)、极大似然法:http://blog.sina.com.cn/s/blog_e8ef033d0101oa4k.html)
3. 似然(likelihood)与概率(probability)的区别:http://yangfangs.github.io/2018/04/06/the-different-of-likelihood-and-probability/