[ML]ML中的概率知识总结

在机器学习的学习和理解过程中，需要学习者具备概率论的知识。在此记录下经常遇到的概率知识。

1，全概率公式

在概率计算中，求取较复杂、情况较多的事件概率时，有时候可以曲线救国，从已知的、简单的事件的概率来求得最终结果。而这些简单的事件相等于对复杂事件的整体样本空间做了划分。
我们先来说样本空间的划分。
假设$\Omega$是随机试验$E$的样本空间，而${B_1},{B_2},{B_3}, \cdots {B_n}$为$E$的一组试验的结果事件。如果满足以下条件：

$${B_i}\; \cap \;{B_j}\; = \varphi \;,\;\;i \ne j$$

$${B_1}\; \cup \;{B_2}\; \cup \;{B_3}\; \cup \; \cdots \; \cup {B_n}\; = \Omega \;$$
则 ${B_1},{B_2},{B_3}, \cdots {B_n}$称为 $\Omega$的一个有限划分。
$\Omega$的划分不是唯一的，依据不同的准则，会产生不同的空间划分。但是一旦划分确定，那么做一次试验 $E$，事件${B_1},{B_2},{B_3}, \cdots {B_n}$中必有一个且只有一个会发生。
然后我们看如何基于样本空寂的划分得到全概率公式：
假设随机试验 $E$的样本空间为$\Omega$， ${B_1},{B_2},{B_3}, \cdots {B_n}$为 $\Omega$的一个有限划分，且 $P({B_i})\; > \;0\;,\;i = 1,2,3, \cdots ,n$。 $A\; \subset \Omega$，那么则有事件 $A$发生的概率为：
$$P(A)\; = \;\sum\limits_{i = 1}^n {P(A|{B_i}} )P({B_i})\;$$
这就是 全概率公式。根据条件概率的定义，我们可以进一步得到：
$$P(A)\; = \;\sum\limits_{i = 1}^n {P(A|{B_i}} )P({B_i})\; = \;\sum\limits_{i = 1}^n {P(A{B_i}} )$$
所以我们可以得到全概率公式传达的意义。它实际上是借助于样本空间的划分对事件 $A$进行了划分。借助于样本空间$\Omega$的一个划分 ${B_1},{B_2},{B_3}, \cdots {B_n}$，将事件 $A$分解成互不相容的部分$A{B_1},A{B_2},A{B_3},\; \cdots ,A{B_n}$。基于此，可将全概率 $P(A)$细分成几个互斥的小部分，在进行求和。这就是“全概率”公式的意义，其理论和实际意义在于：当情况较复杂时，直接计算 $P(A)$存在困难，但适当地构造样本空间的划分 ${B_1},{B_2},{B_3}, \cdots {B_n}$，可以便于理解且简化计算。
       全概率公式在ML中的体现 举例：
       在强化学习中，当MDP模型已知且需要进行有模型学习时，由于状态转移概率和奖赏函数已知，可通过全概率公式展开，得到值函数的递归形式，进而可采用动态规划进行策略评估和策略迭代改进。