# 理解全概率公式与贝叶斯公式

## 1. 全概率公式

BiBj=(ij)B1+B2+=Ω B i B j = ∅ ( i ≠ j ) B 1 + B 2 + ⋯ = Ω

A=AΩ=AB1+AB2+AB3+ A = A Ω = A B 1 + A B 2 + A B 3 + ⋯

P(A)=P(AΩ)=P(AB1+AB2+AB3+)=P(AB1)+P(AB2)+P(AB3)+(136)(137)(138) (136) P ( A ) = P ( A Ω ) (137) = P ( A B 1 + A B 2 + A B 3 + ⋯ ) (138) = P ( A B 1 ) + P ( A B 2 ) + P ( A B 3 ) + ⋯

P(A)=P(B1)P(A|B1)+P(B2)P(A|B2)+P(B3)P(A|B3)+ P ( A ) = P ( B 1 ) P ( A | B 1 ) + P ( B 2 ) P ( A | B 2 ) + P ( B 3 ) P ( A | B 3 ) + ⋯

P(A)=0.8,P(B)=0.1,P(C)=0.5 P ( A ) = 0.8 , P ( B ) = 0.1 , P ( C ) = 0.5

P(S|A)=0.1,P(S|B)=1.0,P(S|C)=0.5 P ( S | A ) = 0.1 , P ( S | B ) = 1.0 , P ( S | C ) = 0.5

P(S)=P(A)P(S|A)+P(B)P(S|B)+P(C)P(S|C)=0.43 P ( S ) = P ( A ) P ( S | A ) + P ( B ) P ( S | B ) + P ( C ) P ( S | C ) = 0.43

## 2. 贝叶斯公式

P(Bi|A)=P(ABi)P(A)=P(Bi)P(A|Bi)jP(Bj)P(A|Bj) P ( B i | A ) = P ( A B i ) P ( A ) = P ( B i ) P ( A | B i ) ∑ j P ( B j ) P ( A | B j )

P(|)=0.99,P(|)=0.01,P(|)=0.05,P(|)=0.95 P ( 阳 性 | 带 菌 ) = 0.99 , P ( 阴 性 | 带 菌 ) = 0.01 , P ( 阳 性 | 不 带 菌 ) = 0.05 , P ( 阴 性 | 不 带 菌 ) = 0.95

P(|)=P()P(|)P()P(|)+P()P(|)=0.03×0.990.03×0.99+0.97×0.05=0.38(121)(122)(123) (121) P ( 带 菌 | 阳 性 ) = P ( 带 菌 ) P ( 阳 性 | 带 菌 ) P ( 带 菌 ) P ( 阳 性 | 带 菌 ) + P ( 不 带 菌 ) P ( 阳 性 | 不 带 菌 ) (122) = 0.03 × 0.99 0.03 × 0.99 + 0.97 × 0.05 (123) = 0.38

### 贝叶斯公式与机器学习

6 180 12
5.92 190 11
5.58 170 12
5.92 165 10
5 100 6
5.5 150 8
5.42 130 7
5.75 150 9

#!/usr/bin/python3

from mpl_toolkits.mplot3d import Axes3D
import matplotlib.pyplot as plt

fig = plt.figure()

# 身高、体重、脚尺寸数据
x = [6, 5.92, 5.58, 5.92, 5, 5.5, 5.42, 5.75]
y = [180, 190, 170, 165, 100, 150, 130, 150]
z = [12, 11, 12, 10, 6, 8, 7, 9]

# 男性用红色园圈表示
ax.scatter(x[:4], y[:4], z[:4], c='r', marker='o', s=100)
# 女性用蓝色三角表示
ax.scatter(x[4:], y[4:], z[4:], c='b', marker='^', s=100)

ax.set_xlabel('Height (feet)')
ax.set_ylabel('Weight (lbs)')
ax.set_zlabel('Foot size (inches)')

# 显示散点图
plt.show()

ĉ =argmaxcp(C|F1,F2,F3) c ^ = arg ⁡ max c p ( C | F 1 , F 2 , F 3 )

p(C|F1,F2,F3)=p(F1,F2,F3|C)P(C)p(F1,F2,F3) p ( C | F 1 , F 2 , F 3 ) = p ( F 1 , F 2 , F 3 | C ) P ( C ) p ( F 1 , F 2 , F 3 )

p(F1,F2,F3|C)=p(F1|C)p(F2|C)p(F3|C) p ( F 1 , F 2 , F 3 | C ) = p ( F 1 | C ) p ( F 2 | C ) p ( F 3 | C )

ĉ =argmaxcp(F1|C)p(F2|C)p(F3|C)P(C) c ^ = arg ⁡ max c p ( F 1 | C ) p ( F 2 | C ) p ( F 3 | C ) P ( C )

p(F1=6|)=12πσ2exp((6μ)22σ2)1.5789 p ( F 1 = 6 | 男 ) = 1 2 π σ 2 exp ⁡ ( − ( 6 − μ ) 2 2 σ 2 ) ≈ 1.5789

p(F1=6|)p(F2=130|)p(F3=8|)P()=6.1984×109p(F1=6|)p(F2=130|)p(F3=8|)P()=5.3778×104 p ( F 1 = 6 | 男 ) p ( F 2 = 130 | 男 ) p ( F 3 = 8 | 男 ) P ( 男 ) = 6.1984 × 10 − 9 p ( F 1 = 6 | 女 ) p ( F 2 = 130 | 女 ) p ( F 3 = 8 | 女 ) P ( 女 ) = 5.3778 × 10 − 4

1. 如果没有想明白这一步，可以利用Venn图来帮助理解。
2. 若干个两两互斥的事件之和的概率，等于各事件的概率之和，即
P(A1+A2+)=P(A1)+P(A2)+ P ( A 1 + A 2 + ⋯ ) = P ( A 1 ) + P ( A 2 ) + ⋯
3. 随机事件的意思就是，在试验之前你并不知道该事件是否会在试验中发生，发生与否取决于机遇。
4. 感谢网友在评论中指出的批评，这个地方我是写漏了条件。
5. 假设不同特征彼此独立，即，当有
P(y|x1,,xn)=P(y)P(x1,,xn|y)P(x1,,xn) P ( y | x 1 , ⋯ , x n ) = P ( y ) P ( x 1 , ⋯ , x n | y ) P ( x 1 , ⋯ , x n )

我们假设
P(xi|y,x1,,xi1,xi+1,,xn)=P(xi|y) P ( x i | y , x 1 , ⋯ , x i − 1 , x i + 1 , ⋯ , x n ) = P ( x i | y )

所以才称作“朴素”贝叶斯（Naive Bayes）。
6. 概率密度可以理解为“瞬时”的概率。对于概率密度函数，必须要满足两条性质：
(1)f(x)0;(2)f(x)dx=1 ( 1 ) f ( x ) ≥ 0 ; ( 2 ) ∫ − ∞ ∞ f ( x ) d x = 1

所以只要 f(x) f ( x ) 整体的积分为1就可以了，并不要求局部的每个值都比1小。就像 δ δ 函数（维基百科-delta函数），虽然在0上的函数值可以大于1，但整体的积分却永远是1。

#### 对全概率公式和贝叶斯公式的理解

2017-03-05 17:13:55

#### 全概公式和贝叶斯公式的理解

2016-10-04 01:37:10

#### 全概率公式和贝叶斯公式

2016-09-10 19:18:01

#### 浅谈全概率公式和贝叶斯公式

2017-07-15 16:25:56

#### (转载)理解全概率公式与贝叶斯公式

2017-12-03 20:08:11

#### 全概率公式与贝叶斯公式

2016-03-13 13:09:23

#### 全概率公式与贝叶斯公式-机器学习

2018-01-11 14:32:01

#### 关于条件概率，全概率公式，贝叶斯公式

2013-04-07 15:27:43

#### 全概率公式和贝叶斯公式的应用 (概统1)

2018-01-05 10:25:29

#### 图解贝叶斯公式

2016-06-01 11:58:56