1. 条件概率公式
条件概率(Condittional probability),就是指在事件B发生的情况下,事件A发生的概率,用P(A|B)来表示
根据文氏图可知:在事件B发生的情况下,事件A发生的概率就是P(A∩B)除以P(B)。
P
(
A
∣
B
)
=
P
(
A
∩
B
)
P
(
B
)
=
>
P
(
A
∩
B
)
=
P
(
A
∣
B
)
P
(
B
)
P(A|B)=\frac{P(A \cap B)}{P(B)} =>P(A \cap B)=P(A|B)P(B)
P(A∣B)=P(B)P(A∩B)=>P(A∩B)=P(A∣B)P(B)
同理可得: P ( A ∩ B ) = P ( B ∣ A ) P ( A ) P(A\cap B)=\frac{P(B|A)}{P(A)} P(A∩B)=P(A)P(B∣A)
所以: P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A){P(A)}}{P(B)} P(A∣B)=P(B)P(B∣A)P(A)
接着看全概率公式,如果事件
A
1
,
A
2
,
A
3
,
.
.
.
,
A
n
A_1,A_2,A_3,...,A_n
A1,A2,A3,...,An构成一个完备事件且都有正概率,那么对于任意一个事件B则有:
P
(
B
)
=
P
(
B
A
1
)
+
P
(
B
A
2
)
+
P
(
B
A
3
)
+
⋯
+
P
(
B
A
n
)
=
P
(
B
∣
A
1
)
P
(
A
1
)
+
P
(
B
∣
A
2
)
P
(
A
2
)
+
⋯
+
P
(
B
∣
A
n
)
P
(
A
n
)
=
>
P
(
B
)
=
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(B) = P(BA_1)+P(BA_2)+P(BA_3)+ \cdots +P(BA_n) \\ \qquad \qquad \qquad \ \ \ = P(B|A_1)P(A_1)+P(B|A_2)P(A_2)+ \cdots +P(B|A_n)P(A_n) \\ =>P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)
P(B)=P(BA1)+P(BA2)+P(BA3)+⋯+P(BAn) =P(B∣A1)P(A1)+P(B∣A2)P(A2)+⋯+P(B∣An)P(An)=>P(B)=i=1∑nP(Ai)P(B∣Ai)
2. 贝叶斯推断
根据条件概率和全概率公式,可以得到贝叶斯公式如下:
P
(
A
∣
B
)
=
P
(
A
)
P
(
B
∣
A
)
P
(
B
)
P
(
A
i
∣
B
)
=
P
(
A
i
)
P
(
B
∣
A
i
)
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(A|B)=P(A)\frac{P(B|A)}{P(B)} \qquad \qquad P(A_i|B)=P(A_i) \frac{P(B|A_i)} {\sum_{i=1}^{n}P(A_i)P(B|A_i)}
P(A∣B)=P(A)P(B)P(B∣A)P(Ai∣B)=P(Ai)∑i=1nP(Ai)P(B∣Ai)P(B∣Ai)
P(A)称为"先验概率"(Prior probability),即在B事件发生之前,我们对A事件概率的一个判断。
P(A|B)称为"后验概率"(Posterior probability),即在B事件发生之后,我们对A事件概率的重新评估。
P(B|A)/P(B)称为"可能性函数"(Likely hood),这是一个调整因子,使得预估概率更接近真实概率。
所以条件概率可以理解为:后验概率 = 先验概率 * 调整因子
如果"可能性函数">1,意味着"先验概率"被增强,事件A的发生的可能性变大;
如果"可能性函数"=1,意味着B事件无助于判断事件A的可能性;
如果"可能性函数"<1,意味着"先验概率"被削弱,事件A的可能性变小。
3. 案例
颜值 | 性格 | 上进 | 嫁or不嫁 |
---|---|---|---|
帅 | 好 | 上进 | 嫁 |
不帅 | 好 | 一般 | 不嫁 |
不帅 | 不好 | 不上进 | 不嫁 |
帅 | 好 | 一般 | 嫁 |
不帅 | 好 | 上进 | 嫁 |
帅 | 不好 | 一般 | 不嫁 |
帅 | 好 | 不上进 | 嫁 |
不帅 | 不好 | 上进 | 不嫁 |
帅 | 不好 | 上进 | 嫁 |
不帅 | 好 | 不上进 | 不嫁 |
假如某男(帅,性格不好,不上进)向女生求婚,该女生嫁还是不嫁?
根据贝叶斯公式: P ( A ∣ B ) = P ( A ) P ( B ∣ A ) P ( B ) P(A|B)=P(A)\frac{P(B|A)}{P(B)} P(A∣B)=P(A)P(B)P(B∣A)
转换成分类任务的表达式: P ( 类 别 ∣ 特 征 ) = P ( 类 别 ) P ( 特 征 ∣ 类 别 ) P ( 特 征 ) P(类别|特征)=P(类别)\frac{P(特征|类别)}{P(特征)} P(类别∣特征)=P(类别)P(特征)P(特征∣类别)
我们这个例子,按照朴素贝叶斯的求解,可以转换为计算
P
(
嫁
∣
帅
,
性
格
不
好
,
不
上
进
)
和
P
(
不
嫁
∣
帅
,
性
格
不
好
,
不
上
进
)
P(嫁|帅,性格不好,不上进)\ 和 \ P(不嫁|帅,性格不好,不上进)
P(嫁∣帅,性格不好,不上进) 和 P(不嫁∣帅,性格不好,不上进) ,最终选择嫁与不嫁的答案。
根据贝叶斯公式可知:
P
(
C
∣
F
1
,
F
2
,
…
)
=
P
(
C
)
P
(
F
1
,
F
2
,
…
∣
C
)
P
(
F
1
,
F
2
,
…
)
P(C|F1,F2,\ldots)={P(C)}\frac{P(F1,F2,\ldots|C)}{P(F1,F2,\ldots)}
P(C∣F1,F2,…)=P(C)P(F1,F2,…)P(F1,F2,…∣C)
P ( 嫁 ∣ 帅 , 性 格 不 好 , 不 上 进 ) = P ( 嫁 ) P ( 帅 ∣ 嫁 ) P ( 性 格 不 好 ∣ 嫁 ) P ( 不 上 进 ∣ 嫁 ) P ( 帅 , 性 格 不 好 , 不 上 进 ) P(嫁|帅,性格不好,不上进)=P(嫁)\frac{P(帅|嫁)P(性格不好|嫁)P(不上进|嫁)}{P(帅,性格不好,不上进)} P(嫁∣帅,性格不好,不上进)=P(嫁)P(帅,性格不好,不上进)P(帅∣嫁)P(性格不好∣嫁)P(不上进∣嫁)
P ( 不 嫁 ∣ 帅 , 性 格 不 好 , 不 上 进 ) = P ( 不 嫁 ) P ( 帅 ∣ 不 嫁 ) P ( 性 格 不 好 ∣ 不 嫁 ) P ( 不 上 进 ∣ 不 嫁 ) P ( 帅 , 性 格 不 好 , 不 上 进 ) P(不嫁|帅,性格不好,不上进)=P(不嫁)\frac{P(帅|不嫁)P(性格不好|不嫁)P(不上进|不嫁)}{P(帅,性格不好,不上进)} P(不嫁∣帅,性格不好,不上进)=P(不嫁)P(帅,性格不好,不上进)P(帅∣不嫁)P(性格不好∣不嫁)P(不上进∣不嫁)
分母的计算用到的是全概率公式:
P
(
B
)
=
∑
i
=
1
n
P
(
A
i
)
P
(
B
∣
A
i
)
P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)
P(B)=i=1∑nP(Ai)P(B∣Ai)
所以:
P
(
帅
,
性
格
不
好
,
不
上
进
)
=
P
(
嫁
)
P
(
帅
∣
嫁
)
P
(
性
格
不
好
∣
嫁
)
P
(
不
上
进
∣
嫁
)
+
P
(
不
嫁
)
P
(
帅
∣
不
嫁
)
P
(
性
格
不
好
∣
不
嫁
)
P
(
不
上
进
∣
不
嫁
)
P(帅,性格不好,不上进)=P(嫁)P(帅|嫁)P(性格不好|嫁)P(不上进|嫁)+P(不嫁)P(帅|不嫁)P(性格不好|不嫁)P(不上进|不嫁)
P(帅,性格不好,不上进)=P(嫁)P(帅∣嫁)P(性格不好∣嫁)P(不上进∣嫁)+P(不嫁)P(帅∣不嫁)P(性格不好∣不嫁)P(不上进∣不嫁)
由上表可以得出:
-
P(嫁)= 5/10 = 1/2
-
P(不嫁)= 5/10 = 1/2
-
P(帅|嫁) * P(性格不好|嫁) * P(不上进|嫁)= 4/5 * 1/5 * 1/5
-
P(帅|不嫁) * P(性格不好|不嫁) * P(不上进|不嫁) = 1/5 * 3/5 * 2/5
-
P(嫁) * P(帅|嫁) * P(性格不好|嫁) * P(不上进|嫁) = 1/2 * 4/5 * 1/5 * 1/5 = 2/125
-
P(不嫁) * P(帅|不嫁) * P(性格不好|不嫁) * P(不上进|不嫁) = 1/2 * 1/5 * 3/5 * 2/5 = 3/125
所以最终结果为:
- P(嫁|帅\ 性格不好\ 不上进) = (2/125) / (2/125 + 3/125) = 40%
- P(不嫁|帅\ 性格不好\ 不上进) = (3/125) / (2/125 + 3/125) = 60%
60% > 40%,该女生选择不嫁。