概述
因为笔者对这些的概念跟联系老是分不太清楚，为了加深自己的理解，只好写下这篇博客，以便后续翻阅。
先验概率
是指根据以往经验和分析得到的概率.
意思是说我们人有一个常识,比如骰子,我们都知道概率是1/6,而且无数次重复实验表明是这个数,这是一种我们人的常识,也是我们在不知道任何情况下必然会说出的一个值.而所谓的先验概率是我们人在未知条件下对事件发生可能性猜测的数学表示!
公式表达如下：
P
(
θ
)
P(θ)
P(θ)
后验概率
一个事件在另一个事件发生条件下的条件概率
公式表达如下：
P
(
θ
∣
x
)
P(θ|x)
P(θ∣x)
贝叶斯公式
表现了后验概率与先验概率的关系
公式表达如下：
P
(
θ
∣
x
)
=
P
(
x
∣
θ
)
P
(
θ
)
P
(
x
)
P(θ|x) = \frac{P(x|θ) P(θ)}{P(x)}
P(θ∣x)=P(x)P(x∣θ)P(θ)
似然函数
关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。
假设我们抛了两次硬币，并且知道了结果是两次头朝上，这时候，我希望知道这枚硬币抛出去正面朝上的概率为0.5的概率是多少？正面朝上的概率为0.8的概率是多少？
如果我们希望知道正面朝上概率为0.5的概率，这个东西就叫做似然函数，可以说成是对某一个参数的猜想（p=0.5）的概率.
公式表达如下：
P
(
x
∣
θ
)
P(x|θ)
P(x∣θ)
极大似然估计
最大似然估计，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值。
举例说明它们之间的关系
如果用阴天预测明天是否会下雨
先验概率： 下雨的概率
P
(
r
a
i
n
)
P(rain)
P(rain)
后验概率： 已经知道阴天，下雨的概率：
P
(
r
a
i
n
∣
c
l
o
u
d
y
)
P(rain|cloudy)
P(rain∣cloudy)
贝叶斯公式： 表现了后验概率与先验概率的关系:
P
(
r
a
i
n
∣
c
l
o
u
d
y
)
=
P
(
c
l
o
u
d
y
∣
r
a
i
n
)
P
(
r
a
i
n
)
P
(
c
l
o
u
d
y
)
P(rain|cloudy) = \frac{P(cloudy|rain) P(rain)}{P(cloudy)}
P(rain∣cloudy)=P(cloudy)P(cloudy∣rain)P(rain)
-
把注意力集中在分子，公式可以理解为：阴天会下雨的概率（后验概率），不仅跟下雨那天的确是阴天的概率（条件概率）有关，还跟下雨本身的概率（先验概率）有关，如果下雨本身概率很低（先验概率=0），即便下雨一定阴天（条件概率=1），那么下雨的概率还是会很低（后验概率=0）
P ( r a i n ∣ c l o u d y ) = P ( c l o u d y ∣ r a i n ) P ( r a i n ) P ( c l o u d y ) P(rain|cloudy) = \frac{P(cloudy|rain) P(rain)}{P(cloudy)} P(rain∣cloudy)=P(cloudy)P(cloudy∣rain)P(rain) -
把注意力集中在分母，公式可以理解为：阴天会下雨的概率（后验概率），不仅跟下雨并且是阴天的概率有关，还跟不下雨也是阴天的概率有关
P ( r a i n ∣ c l o u d y ) = P ( c l o u d y ∣ r a i n ) P ( r a i n ) P ( c l o u d y ∣ r a i n ) P ( r a i n ) + P ( c l o u d y ∣ n o r a i n ) P ( n o r a i n ) P(rain|cloudy) = \frac{P(cloudy|rain) P(rain)}{P(cloudy|rain)P(rain)+P(cloudy|norain)P(norain)} P(rain∣cloudy)=P(cloudy∣rain)P(rain)+P(cloudy∣norain)P(norain)P(cloudy∣rain)P(rain)
似然函数： 根据贝叶斯公式得出的先验概率与后验概率的关系参数
P
(
c
l
o
u
d
y
∣
r
a
i
n
)
P(cloudy|rain)
P(cloudy∣rain)
由于已经知道是阴天了，忽略P(cloudy)
P
(
r
a
i
n
∣
c
l
o
u
d
y
)
∝
P
(
c
l
o
u
d
y
∣
r
a
i
n
)
P
(
r
a
i
n
)
P(rain|cloudy)∝P(cloudy|rain) P(rain)
P(rain∣cloudy)∝P(cloudy∣rain)P(rain)
1044
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
