条件概率的理解问题及贝叶斯公式

最近在学习统计信号处理，对条件概率的理解模糊，条件概率是概论中的一个重要而实用的概念。重新翻开概率论的课本，对条件该概率作进一步认识。

（一）条件概率：

首先是条件概率的定义：

设有事件A和事件B，样本空间为E。称：

为事件A发生的条件下事件B发生的条件概率。

P(AB) 是事件A发生，且事件B发生的概率，事件范围还是整个样本空间；A，B没有先后次序之分。

        P(B | A) 是事件A先发生，B发生的概率，也就是说P(B | A)大于等于P(AB)。一定要注意是事件A先发生，因为事件A的发生缩小了样本空间。

再用图解释一下P(AB) 和 P(B | A)的关系：

红色部分是事件A和事件B同时发生的概率即P(AB)，概率P(AB)是在E这样一个样本空间背景下进行计算的。

当我们把事件A和事件B从样本空间抠出来，红色部分事件对于事件A而言发生的概率就是P( B | A )。

（二）乘法定理：

P(AB) = P( B | A)P(A)

用上述的图片就可以很容易的理解，事件A和事件B同时发生的概率就等于事件B在事件A的样本空间下发生的概率乘以事件A在整个样本空间下发生的概率。

（三）全概率公式和贝叶斯公式：

首先我们来看这样一个问题：

我们想知道事件A在事件B下的发生概率，然而不能直接求得，那么这里有如下曲线救国的方法。我们由之前的条件概率可以得到下面两个等式：

P(AB) = P( B | A)P(A)， P(AB) = P( A | B)P(B)，很容易就能够将P( B | A)表示出来：

这就是贝叶斯公式的雏形了。我们先把他放一边，下面先来看看全概率公式。

全概率公式：

设S为试验E的样本空间，B1，B2···Bn为E的一组事件，简单地说就是B系列事件瓜分了E且各个B不相互重叠（互不相容），全概率公式可以表示为：

其含义就是说，事件A现在没法直接得到了，咋办呢？碰巧我们现在很容易找到一个划分S的一系列事件B（注意这堆事件B要将S全部瓜分掉！）我们就用条件概率加上事件B的概率来获得事件A在S中发生的概率即P(A)。

贝叶斯公式：

由条件概率和全概率公式可得：

总结：

总之记住一句话，如果是条件概率，事件发生的概率就是有条件的，这代表事件发生的样本空间就被这小小的一条竖线“|”改变了，样本空间变为竖线后边事件的样本空间。概率论本身是非常抽象的，在具体到真正的应用时能加深对其的理解。

Reference

https://www.zhihu.com/question/22905989

https://en.wikipedia.org/wiki/Minimum_mean_square_error

http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/