贝叶斯公式证明及Bayesain在机器学习重要地位的理解

---

前言

“概率论只不过是把常识用数学公式表达了出来。”                ——拉普拉斯

1、条件概率

  设$A$与$B$是样本空间 $\Omega$ 中的两事件，若$P(B)>0$，则称
$$P(A|B)=\frac{P(AB)}{P(B)}$$
为"在$B$发生下$A$的条件概率"，简称条件概率。 即有乘法公式， $P(AB)=P(B)P(A|B)$.

2、全概率公式

  设 $B_1,B_2,...,B_n$ 为样本空间 $\Omega$ 的一个分割（见下图），即 $B_1,B_2,...,B_n$ 互不相容,且${\bigcup }_{i=1}^n{B}_i=\Omega$ ，如果 $P(B_i)>0,i=1,2,...,n$ ，则对任一事件 $A$ 有
$$P(A)=\sum _{i=1}^{n}P(B_i)P(A|B_i)$$

证明：
  因为
$$A=A\Omega =A(\bigcup _{i=1}^n{B}_i)=\bigcup _{i=1}^n(A{B}_i)$$
且$A{B}_1,A{B}_2,...,A{B}_n$，互不相容，所以由可加性得
$$P(A)=P(A(\bigcup _{i=1}^n{B}_i))=\sum _{i=1}^{n}P(A{B}_i)$$
再将$P(A{B}_i)=P(B_i)P(A|B_i)，i=1,2,...,n$，即可证全概率公式。

3、贝叶斯公式

  在乘法公式和全概率公式的基础上立即可推得如下很著名的公式。
  设 $B_1,B_2,...,B_n$ 为样本空间 $\Omega$ 的一个分割，即 $B_1,B_2,...,B_n$ 互不相容，且${\bigcup }_{i=1}^n{B}_i=\Omega$ ，如果 $P(A)>0,P(B_i)>0,i=1,2,...,n$ ，则

$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)},i=1,2,...,n.$$

证明：
  由条件概率的定义
$$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}$$
对上式的分子用乘法公式、分母用全概率公式，
$$\begin{gathered} P(A{B}_i)=P(B_i)P(A|B_i) \\ P(A)=\sum _{j=1}^{n}P(B_j)P(A|B_j) \end{gathered}$$
即得
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$
结论得证.

Bayesain在机器学习重要地位的理解

  经典的Bayesian在机器学习中如此重要,就是因为人们希望机器人能像人那样思考,而很多问题是需要计算机在已知条件下做出最佳决策的决策，而贝叶斯公式就是对人脑在已知条件下做出直觉判断的一种数学表示。

为更好的理解“贝叶斯公式就是对人脑在已知条件下做出直觉判断的一种数学表示。”
假设今天的天气情况一共有3种，雨天、晴天、雪天，今天早上天上乌云密布，你需要判断今天的天气情况为哪一种，根据以往的生活经验，一般情况下都会判断为雨天，即由贝叶斯公式有：
$$P(雨天|乌云密布)=\frac{P(雨天)P(乌云密布|雨天)}{P(雨天)P(乌云密布|雨天)+P(晴天)P(乌云密布|晴天)+P(雪天)P(乌云密布|雪天)}=1$$
在过去的生活中，雨天与乌云密布一同出现的概率极高，即对一个事件的经验判断（左式），是通过以往事件的学习得到的（右式），且这种学习所需的数据相对较易获取，机器学习就是通过右式的思想，结合已知数据来学习这种“经验判别能力”(左式)。

左式，经验判断；右式，学习过程。