机器学习|全概率公式和贝叶斯公式及其关系（由原因推结果和由结果推原因）|20mins入门|概统学习笔记（十五）

全概率公式和贝叶斯公式

• 两者实质：是加法公式和乘法公式的综合运用

  • 加法公式$P(A+B)=P(A)+P(B)$，A、B互斥

  • 乘法公式$P(AB)=P(A)P(B|A),P(A)>0$

1. 全概率公式-”由原因推结果“

• 定义：设$A_1,A_2,...,A_n$是两两互斥的事件，且$P(A_i)>0,i=1,2,...,n$,另有一事件B，它总是与$A_1,A_2,...,A_n$之一同时发生，则
  $$P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$$
  若S为随机试验的样本空间，有${\bigcup }_{i=1}^n{A}_i=S$，则称满足上述条件的$A_1,A_2,...,A_n$为完备事件组。

• 意义：在较复杂情况下直接计算$P(B)$不易，但B总是伴随着某个$A_i$出现，适当地去构造这一组$A_i$往往可以简化计算

• 新角度理解：某一事件B的发生有各种可能的原因$(i=1,2,....,n)$，如果B是由原因$A_i$所引起，则B发生的概率是
  $$P(B{A}_i)=P(A_i)P(B|A_i)$$
  每一原因都可能导致B发生，故B发生的概率是各原因引起B发生概率的总和，即全概率公式

  由此，可以形象地把全概率公式看成为”由原因推结果“，每个原因对结果的发生有一定的”作用“，即结果发生的可能性与各种原因的”作用“大小有关。而全概率表达了他们之间的关系

• e.g

  有三个箱子，分别编号为 1, 2, 3，1 号箱装有 1 个红球 4 个白球，2 号箱装有 2 红 3 白球，3 号箱装有 3 红球. 某人从三箱中任取一箱，从中任意摸出一球，求取得红球的概率。

  解：记$A_i=${球取自i号箱}，$i=1,2,3;B=${取得红球}

  B发生总是随着$A_1,A_2,A_3$之一同时发生，即$B=A_{1}B+A_{2}B+A_{3}B$，且$A_{1}B、A_{2}B、A_{3}B$两两互斥

  $\therefore P(B)=P(A_{1}B)+P(A_{2}B)+P(A_{3}B)={\sum }_{i=1}^{3}P(A_i)P(B|A_I)$

  代入数据得:$P(B)=\frac{8}{15}$

2. 贝叶斯公式-”已知结果求原因“

• 定义：设$A_1,A_2,...,A_n$是两两互斥的事件，且$P(A_i)>0,i=1,2,...,n$另有一事件B，它总是与$A_1,A_2,...,A_n$之一同时发生，则
  $$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)}i=1,2,...,n$$
  它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率。

  在贝叶斯公式中，$P(A_i)$和$P(A_i|B)$分别称为原因的验前概率和验后概率

  $P(A_i)(i=1,2,...,n)$是在没有进一步信息（不知道事件B是否发生）的情况下，人们对诸事件发生可能性大小的认识。

  当有了新的信息（知道B发生），人们对诸事件发生可能性大小$P(A_i|B)$有了新的估计

• e.g

  有三个箱子，分别编号为 1, 2, 3，1 号箱装有 1 个红球 4 个白球，2 号箱装有 2 红 3 白球，3 号箱装有 3 红球. 某人从三箱中任取一箱，从中任意摸出一球，发现是红球，求该球是取自1号箱的概率。

  解：记$A_i=${球取自i号箱}，$i=1,2,3;B=${取得红球}

  求：$P(A_1|B)$

  ​ $P(A_1|B)=\frac{P(A_{1}B)}{P(B)}=\frac{P(A_1)P(B|A_1)}{{\sum }_{k=1}^{3}P(A_k)P(B|A_k)}$