似然与概率的区别
似然 VS 概率
在英语语境里，likelihood 和 probability 的日常使用是可以互换的，都表示对机会 (chance) 的同义替代。但在数学中，probability 这一指代是有严格的定义的，即符合柯尔莫果洛夫公理 (Kolmogorov axioms) 的一种数学对象（换句话说，不是所有的可以用0到1之间的数所表示的对象都能称为概率），而 likelihood (function) 这一概念是由Fisher提出，他采用这个词，也是为了凸显他所要表述的数学对象既和 probability 有千丝万缕的联系，但又不完全一样的这一感觉。中文把它们一个翻译为概率一个翻译为似然也是独具匠心。
置信区间&置信度 VS 概率
除此之外，统计学中的另一常见概念"置信（区间）"(confidence interval)中的置信度(confidence level)也不是概率。换句话说，"构建关于总体均值的95%的置信区间"里的"95%"不是概率意义下的0.95（即使它也是0到1之间的代表机会chance的一个度量）；更常见的p-值(p-value)严格来说其本身是一个(恰好位于0到1之间的)统计量(即样本随机变量的函数)，所以p-值也不是概率。
一种方便区别是概率还是似然的方法是，根据定义，"事件A的概率"中A只能是概率空间中的事件，换句话说，我们只能说，事件(发生)的概率是多少(因为事件具有概率结构从而刻画随机性，所以才能谈概率)；而 "
θ
\theta
θ 的似然"中的
θ
\theta
θ 只能是参数，比如说，参数
θ
\theta
θ 等于0.36时的似然是多少。
作者：Yeung Evan
链接：https://www.zhihu.com/question/54082000/answer/145495695
来源：知乎
似然函数的详细分析——其本质意义
已知事件B发生的情况下，事件A发生的概率写作：
P
(
A
∣
B
)
P(A|B)
P(A∣B)
利用贝叶斯定理：
P
(
B
∣
A
)
=
P
(
A
∣
B
)
P
(
B
)
P
(
A
)
P(B|A) =\dfrac{P(A|B)P(B)}{P(A)}
P(B∣A)=P(A)P(A∣B)P(B)
逆向构造似然性的方法：已知事件A发生，运用似然函数
L
(
θ
∣
A
)
L(\theta|A)
L(θ∣A) 估计参数
θ
\theta
θ 的可能性（即
P
(
B
)
P(B)
P(B) 发生的概率）。
越接近于其最大值，则参数
θ
\theta
θ 越接近于我们的期望。
似然函数并不要求归一性： ∑ n = 1 N P ( A ∣ B = b ) ≠ 1 \sum_{n=1}^N{P(A|B=b)}\neq 1 ∑n=1NP(A∣B=b)̸=1 （b为B发生的概率，在一定条件下也代表了似然函数的参数 ）
一个例子
投掷硬币的实验：
H
H
H表示硬币的正面，
T
T
T表示反面。已知
P
(
H
)
=
0.5
P(H) = 0.5
P(H)=0.5，
P
(
T
)
=
0.5
P(T) = 0.5
P(T)=0.5，则投掷两次，都是正面朝上的概率是
0.25
0.25
0.25。用条件概率表示：
P
(
H
H
∣
p
H
=
0.5
)
=
0.
5
2
=
0.25
P(HH|pH = 0.5) = 0.5^2 = 0.25
P(HH∣pH=0.5)=0.52=0.25
在统计学中，我们关心的是在已知一系列投掷结果时，正面朝上的可能性的信息。
于是我们建立一个统计模型：假设硬币投出时，会有
p
H
pH
pH的概率正面朝上，而有
1
−
p
H
1-pH
1−pH的概率反面朝上。这时，条件概率可以改写成似然函数：
L
(
p
H
=
0.5
∣
H
H
)
=
P
(
H
H
∣
p
H
=
0.5
)
=
0.25
L(pH = 0.5|HH) = P(HH|pH = 0.5) = 0.25
L(pH=0.5∣HH)=P(HH∣pH=0.5)=0.25
也就是说：对于取定的似然函数，在观测到两次投掷都是正面朝上时， p H = 0.5 pH = 0.5 pH=0.5 的似然性是 0.25 0.25 0.25（这并不表示当观测到两次正面朝上时 p H = 0.5 pH = 0.5 pH=0.5 的概率是 0.25 0.25 0.25）。
如果考虑
p
H
=
0.6
pH = 0.6
pH=0.6，那么似然函数的值也会改变。
L
(
p
H
=
0.6
∣
H
H
)
=
P
(
H
H
∣
p
H
=
0.6
)
=
0.36
L(pH = 0.6|HH) = P(HH|pH = 0.6) = 0.36
L(pH=0.6∣HH)=P(HH∣pH=0.6)=0.36
注意到似然函数的值变大了。这说明，如果参数 p H pH pH 的取值变成 0.6 0.6 0.6的话，结果观测到连续两次正面朝上的概率要比假设 p H = 0.5 pH = 0.5 pH=0.5时更大。也就是说，参数 p H pH pH取成 0.6 0.6 0.6 要比取成 0.5 0.5 0.5 更有说服力，更为“合理”。
总之，似然函数的重要性不是它的具体取值，而是当参数 变化时似然函数到底变小还是变大。
对同一个似然函数，如果存在一个参数值，使得它的函数值达到最大的话，那么这个值就是最为“合理”的参数值。
在这个例子中，似然函数实际上等于： L ( p H = θ ∣ H H ) = P ( H H ∣ p H = θ ) = θ 2 ， L(pH = \theta|HH)=P(HH|pH=\theta)=\theta^2， L(pH=θ∣HH)=P(HH∣pH=θ)=θ2，其中： 0 ≤ p H ≤ 1 0\leq pH\leq1 0≤pH≤1
如果取 p H = 1 pH = 1 pH=1，那么似然函数达到最大值 1 1 1。也就是说，当连续观测到两次正面朝上时，假设硬币投掷时正面朝上的概率为 1 1 1是最合理的。
类似地，如果观测到的是三次投掷硬币，前两次正面朝上，第三次反面朝上，那么似然函数将会是：
L
(
p
H
=
θ
∣
H
H
T
)
=
P
(
H
H
T
∣
p
H
=
θ
)
=
θ
2
(
1
−
θ
)
，
其
中
L(pH = \theta|HHT)=P(HHT|pH=\theta)=\theta^2(1-\theta) ，其中
L(pH=θ∣HHT)=P(HHT∣pH=θ)=θ2(1−θ)，其中
T
T
T表示反面朝上，
0
≤
p
H
≤
1
0\leq pH\leq1
0≤pH≤1 。
这时候，似然函数的最大值将会在
p
H
=
2
3
pH=\dfrac23
pH=32 的时候取到。也就是说，当观测到三次投掷中前两次正面朝上而后一次反面朝上时，估计硬币投掷时正面朝上的概率
p
H
=
2
3
pH=\dfrac23
pH=32是最合理的。
扫一扫
3406
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
