数据挖掘基础方法-概率统计-1. 随机事件与随机变量

得益于刚刚结课的《概率论与数理统计》，对于随机事件，连续型和离散型变量和概率分布，条件概率，古典概型，等可能概型，几何概型，期望、方差和协方差的基本概念都比较熟悉，在这里就不多叙述了，其基础概念还是很容易学明白的。值得一提的是全概率公式和贝叶斯公式。

全概率公式和贝叶斯公式

首先我们看一下概率乘法公式和样本空间划分的定义；
由条件概率公式，可以得到概率的乘法公式：
$P(AB)=P(B|A)P(A) =P(A|B)P(B) $
如果事件组，满足
$B_1,B_2,...$ 两两互斥，即$B_i\cap B_j=\varphi ，i\ne j,i,j=1,2,...$，且$P(B_i)>0,i=1,2,...$
$B_1\cup B_2\cup ...=\Omega$
​ 则称事件组$B_1,B_2,...$是样本空间 $\Omega$ 的一个划分。

全概率公式

设$B_1,B_2,...$是样本空间 $ \Omega$ 的一个划分，$A$ 为任一事件，则
​ $P(A)={\sum }_{i=1}^{\infty }P(B_i)P(A|B_i)$
称为全概率公式。

根据全概率公式和概率乘法公式，我们可以得到：
贝叶斯公式
设$B_1,B_2,...$是样本空间 $ \Omega$ 的一个划分，则对任一事件 $A(P(A)>0)$ ,有
​ $P(B_i|A) =\frac {P(B_i A)} {P(A)} = \frac {P(A|B_i )P(B_i)} {\sum_{j=1}^{\infty }P( B_j)P(A|B_j)} ,i=1,2,… $
称上式为贝叶斯公式，称$P(B_i)(i=1,2,...)$ 为先验概率，$P(B_i|A)（i=1,2,...）$为后验概率。

​ 在实际中，常取对样本空间 $\Omega$ 的有限划分 $B_1,B_2,...,B_n$ 。 $B_i$ 视为导致试验结果 $A$ 发生的“原因”，而$P(B_i)$ 表示各种“原因”发生的可能性大小，故称为先验概率；$P(B_i|A)$ 则反应当试验产生了结果 $A$ 之后，再对各种“原因”概率的新认识，故称为后验概率 。

贝叶斯公式也是在机器学习中朴素贝叶斯的核心。