机器学习之条件概率，联合概率，贝叶斯定理详解

前言

条件概率，边缘概率，联合概率，全概率，贝叶斯定理是机器学习中几乎所有算法的基础，虽然公式记住了，但是为什么是这样，以及如何理解看过之后隔一段时间问题忘，这里在这里好好做下总结

边缘概率

边缘概率是与联合概率相对应的，$P(A)$和$P(B)$这类仅与单个随机变量有关的概率称为边缘概率。
边缘概率是不用求的，一般都会给出。

条件概率是由联合概率反推出来的，理解起来没有那么直观，全概率，贝叶斯定理也是由联合概率推导出来的，所以这里先说联合概率再说条件概率，最后再讲贝叶斯定理。

联合概率

定义

指包含多个条件且所有条件同时成立的概率，记作$P(A,B)$，或$P(AB)$或$P(A\cup B)$，不过一般都是写成$P(A,B)$。

分析

事件A和事件B可以相互影响的，不过也可以相互独立，不过没有讨论的意义。

如上图
绿色的椭圆表示事件A发生的概率$P(A)$
橘红色的椭圆表示事件B发生的概率$P(B)$
A和B相交的部分就是$P(A,B)$发生的概率

其中
$P(A)$和$P(B)$都是边缘概率
$P(A,B)$就是联合概率

于是我们可以很
可以看到事件A发生的概率和事件B相交的部分就是$P(A,B)$

然后我们也就很容易理解
$P(A,B)$发生的概率就是：
事件B发生的概率，乘以事件A在事件B发生的条件下发生的概率，
于是有：$$P(A,B)=P(B)P(A|B)$$

其中$P(A|B)$就是事件B发生的情况下事件A发生的概率就是条件概率，记为$P(A|B)$，下文会继续讲到。

条件概率

定义

已知事件A发生的条件下，另一个事件B发生的概率称为条件概率，即为：$$P(A|B)$$

事件A和事件B是相互影响的。更通俗地说事件A与事件B是有关系的，发生事件A会影响发生事件B发生的概率。

问条件概率能举个例子吗

学生时代两个人竞选班，同学A赢的概率是0.6，同学B赢的概率是0.4，问同学A在同学B先被投票的情况下赢的概率是多少。
心理学上有种先入为主的现象，不管是谁，第一个被投票的往往比第二个得票更多一些，就这就是两个事件相互影响，这就是条件概率

问条件概率在图中表示的是哪一块呢？

答：条件概率$P(A|B)$在图中表示不出来，$P(A,B)$和$P(B)$都是以图形的形式表示概率的，$P(A|B)$则是$P(A|B)$是$P(A,B)$除以$P(B)$的比值，在图形上表示不出来。
条件概率毕竟还是有些抽象滴。。。要不然也不会主要求它啊（^_）

$P(A|B)$是通过联合概率反推出来的，以图形化的方式表示自然没有那么直观，不过以联合概率反推的方式来解理还是很好理解的，参考联合概率

OK，到这里来道习题加深下理解吧

条件概率习题：

从$1，2，3，\dots ，15$中甲乙两人各任取一个数字（不重复），已知甲取到的数是5的倍数，求甲数大于乙数的概率。

解：
设事件A表示”甲取到的数比乙大“，即$P(A)$
设事件B表示”甲取到的数是5的倍数”，即$P(B)$
则显然所要就是条件概率$P(A|B)$
根据公式
$$P(A|B)=\frac{P(A,B)}{P(B)}$$

而:
$$P(B)=\frac{3}{15}=\frac{1}{5}$$

$$P(A,B)=\frac{C_4^1+C_9^1+C_{14}^1}{C_{14}^1{C}_{15}^1}=9/70$$

则
$$P(A|B)=\frac{P(A,B)}{P(B)}=\frac{9}{70}$$

所以 $$P(A|B)=\frac{9}{14}$$

通过这么一个例子，理解起来是不是更深入了?
我们可以发现：

1. $P(B)$是边缘概率,是直接可以求出来的,
2. $P(A)与P(B)$是相互影响的，
3. $P(A,B)$是联合概率通过复杂些的计算也是可以求出来的,
   但是条件概率P(A|B)则比较抽象，没那么容易求出来，

OK，现在知道了条件概率的意义了吧

全概率

定义

联合概率中把事件A分割成事件$A_1，A_2，A_3,\cdots ,A_n$，并把A与B的位置对调于是就成了全概率，如下图

推导

只是全概率是求事件B的，
全概率需要满足以下条件：

1. 事件A1到An是相互独立的
2. 事件A1到An组成了整个样本空间A
3. 事件A1到An能把事件B无重叠地覆盖掉

如上图，事件B发生的概率是由C1~C6组成的,于是有：
$$P(B)=P(C_1)+P(C_2)+P(C_3)+P(C_4)+P(C_5)+P(C_6)$$
简化一下就是：$$P(B)=\sum _{i=1}^{6}P(C_i)$$

而$$P(C_i)=P(B|A_i)$$
于是全概率公式就出来了
$$P(B)=\sum _{i=1}^{n}P(B|A_i)$$

注意啊，到全概率的时候A（$A_i$）与B，的位置就反过来了，比如说
条件概率公式的表示形式是：$P(A|B)$
全概率公式的表示形式是：$P(B|A_i)$
好了，来道题吧：

全概率习题

某工厂有两个车间产生同一型号的配件，第一车间的次品率是$0.15$，第二车间的次品率是$0.12$，两个车间的成品都混合堆放在一直，假设第1，2车间生产的成品比例为$2:3$，现有一客户从混合成品堆里随机抽查一台产品，求该产品的合格率。
解：
设
事件B = {从仓库中随机抽查的产品的合格率}
事件A_{i} = {抽的是第$i$车间产生的}，$i=1,2$
于是
$$P(B)=\sum _{i=1}^{2}P(A_i)P(B|A_i)$$
由题意可知：
$A_1$的边缘概率：
$$P(A_1)=\frac{2}{5}$$
$A_2$的边缘概率：
$$P(A_2)=\frac{3}{5}$$
条件概率：
$A_1$发生的情况下，B发生的概率：
$$P(B|A_1)=\frac{P(B,A_1)}{P(A_1)}$$

$$P(B|A_1)=0.85$$

$A_2$发生的情况下，B发生的概率：
$$P(B|A_2)=\frac{P(B,A_2)}{P(A_2)}$$

$$P(B|A_2)=0.88$$

根据全概率公式可知:

$$P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)$$

所以$$P(B)=0.868$$

贝叶斯公式

定义

同样条件概率中把A推分割成$A_1，A_2，A_3,\cdots ,A_n$,并把A与B的位置对调就成了贝叶斯公式

推导

根据上图（没错，两个图是一样的，只是离得太远看着不方便）
我们可以知道：求事件B发生的情况下$A_i$发生的概率其实就是求：$$P(C_i)$$
而根据条件概率我们可以知道：
$$P(C_i)=P(A_i|B)=\frac{P(B,A_i)}{P(B)}$$

由全概率公式我们可以知道：
$$P(B)=\sum _{j=1}^{n}P(A_j)P(B|A_j)$$

于是我们最终得到贝叶斯定理的公式为（注意$i$与$j$的不同）：
$$P(A_i|B)=\frac{P(B,A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)}$$
同样来道习题

贝叶斯定理习题

某公路上经过的货车与客车的数量之比为$2:1$，货车中途停车修理的概率为$0.02$，客车为$0.01$，现有一辆汽车中途停车修理，问该汽车是货车的概率
解：
设
事件$B$ = {中途停车修理}
事件$A_1$ ={经过的是货车}，
事件$A_2$ ={经过的是客车}，
于是事件B有：$$B=A_{1}B\cup A_{2}B$$

由贝叶斯公式有：
$$P(A_1|B)=\frac{P(A_1)P(B|A1)}{P(A_1)P(B|A1)+P(A_2)P(B|A_2)}$$

$$P(A_1|B)=\frac{\frac{2}{3}\times 0.02}{\frac{2}{3}\times 0.02+\frac{1}{3}\times 0.01}$$

所以最后的结果为：$$P(A_1|B)=0.80$$

结束语

OK,到这里边缘概率，联合概率，条件概率，全概率，贝叶斯定理就全部完了，不知道你有没有看明白，不明白的话可以提问啊，咱一块交流。