贝叶斯公式
贝叶斯公式
设
- A ⊂ S A \subset S A⊂S
- B 1 , B 2 , . . . , B n B_1,B_2,...,B_n B1,B2,...,Bn为样本空间S的一个划分。 P ( B i ) > 0 P(B_i)>0 P(Bi)>0
则
P ( B i ∣ A ) = P ( B i A ) P ( A ) = P ( B i ) P ( A ∣ B i ) ∑ j = 1 n P ( B j ) p ( A ∣ B j ) \displaystyle P(B_i|A) =\displaystyle \frac{P(B_iA)}{P(A)}\\ {\qquad}{\qquad}{\;}{\ }\displaystyle = \frac{P(B_i)P(A|B_i)}{\sum^{n}_{j=1}P(B_j)p(A|B_j)} P(Bi∣A)=P(A)P(BiA) =∑j=1nP(Bj)p(A∣Bj)P(Bi)P(A∣Bi)
其实不难发现这就是一个条件概率和全概率公式的展开。
贝叶斯公式的意义
贝叶斯公式是对事件 P ( B i ∣ A ) P(B_i|A) P(Bi∣A)在事件 A A A已经发生的条件下对原因 B i B_i Bi的重新度量 ,其实就是度量上图中的黄色部分
我们先来看一道理解题
康康吧🤞并且在结束后会引出并解释先验概率
和后验概率
以及贝叶斯决策
这3个概念。
理解题
在某个聊天软件的用户中,男性用户占2/3
,女性用户占1/3
。男性用户真实填写性别的比例占1/2
,女性用户真实填写性别的比例占3/4
,现一男生随机选取一名标注为美女的成员聊天。求对方真的是女生的概率是多少?
首先我们思考一下,虽然一开始我们知道了男性用户和女性用户的占比,但是因为网络性别
是任意填写的原因,我们无法确定其真实性别
。
那么我们该如何去度量这个用户是女用户的概率呢?
❗❗❗注意上面我用了度量这个词,我们是不是可以画1个这样的图?
首先我们
记 B : 用 户 为 女 性 。 记 A : 用 户 信 息 显 示 为 女 性 由 条 件 : P ( B ) = 1 3 , P ( A ∣ B ‾ ) = 1 2 , P ( A ∣ B ) = 3 4 所 求 概 率 : P ( B ∣ A ) P ( B ∣ A ) = P ( A B ) P ( A ) 记B:用户为女性。{\quad} 记A:用户信息显示为女性\\ 由条件:P(B)=\displaystyle{\frac{1}{3},P(A|\overline{B})=\frac{1}{2}},P(A|B)=\frac{3}{4}\\ 所求概率:P(B|A)\\ P(B|A)=\displaystyle{\frac{P(AB)}{P(A)}} 记B:用户为女性。记A:用户信息显示为女性由条件:P(B)=31,P(A∣B)=21,P(A∣B)=43所求概率:P(B∣A)P(B∣A)=P(A)P(AB)
根据最后的推导可以看到我们需要求的是 黄 色 黄 色 + 绿 色 \large \frac{黄色}{黄色+绿色} 黄色+绿色黄色
接下来我们继续展开,分子继续通过条件概率而分母则用全概率公式展开即可得
P ( B ∣ A ) = P ( A B ) P ( A ) = P ( B ) P ( A ∣ B ) P ( B ) P ( A ∣ B ) + P ( B ) P ( A ∣ B ‾ ) = 1 3 × 3 4 1 3 × 3 4 + 2 3 × 1 2 = 3 7 P(B|A)=\displaystyle{\frac{P(AB)}{P(A)}}\\ =\displaystyle \frac{P(B)P(A|B)}{P(B)P(A|B)+P(B)P(A|\overline{B})}\\ =\large{\frac{\frac{1}{3}\times\frac{3}{4}}{\frac{1}{3}\times\frac{3}{4}+\frac{2}{3}\times\frac{1}{2}}=\frac{3}{7}} P(B∣A)=P(A)P(AB)=P(B)P(A∣B)+P(B)P(A∣B)P(B)P(A∣B)=31×43+32×2131×43=73
3个概念
先验概率是以全事件为背景下,A事件发生的概率, P ( A ∣ Ω ) P(A|\Omega) P(A∣Ω)
后验概率是 以新事件B为背景下,A事件发生的概率, P ( A ∣ B ) P(A|B) P(A∣B)
全事件一般是统计获得的,所以称为先验概率,没有实验前的概率
B为背景下,A事件发生的概率, P ( A ∣ B ) P(A|B) P(A∣B)
全事件一般是统计获得的,所以称为先验概率,没有实验前的概率
而贝叶斯决策则详见贝叶斯决策理论