探索贝叶斯

探索贝叶斯

---

“概率论只不过是把常识用数学公式表达了出来”——拉普拉斯

相关概念

联合概率

联合概率指的是包含多个条件且所有条件同时成立的概率，记作$P(X=a,Y=b)$或$P(a,b)$，有的书上也习惯记作P(ab)。

---

边缘概率

边缘概率与联合概率对应，$P(X=a)$或$P(Y=b)$，这类仅与单个随机变量有关的概率称为边缘概率。

联合概率与边缘概率的关系

$P(X=a)={\sum }_{b}P(X=a,Y=b)$
$P(Y=b)={\sum }_{a}P(X=a,Y=b)$

求和符号表示穷举所有Y（或X）所能取得b（或a）后，所对应值相加得到的和。

---

先验概率

长相极为相似的的双胞胎兄弟，单从长相上很难对两人进行区分，但两人的喜好却存在较大差异。其中，哥哥喜好照相，弟弟不太喜欢。两人的父母为兄弟二人定制了一本内含1000张照片的相册。其中，有哥哥的照片900张，弟弟的照片100张。现从中任取一张照片，让猜一下是谁的照片。本来，因为照片是随机选取的，不论猜是谁的均可能猜错或猜中。但是，如果事先知道两人的喜好，则猜是哥哥的照片，猜中的概率会大一点。这种先于某个事件的发生就已知道的概率称为先验概率。
对于先验概率而言，有下面的结果。设哥哥的照片全体组成类别$w_1$，弟弟的照片全体组成类别$w_2$，并用$P(w_1)$和$P(w_2)$分别表示两个类别发生的先验概率，则有
$$P(w_1)+P(w_2)=1$$

---

类条件概率密度（似然）

它被定义为在输入模式属于某个类别$w$的条件下，观测样本作为$X$出现的概率密度函数，用$p(X|w)$表示。显然，它反映了类别$w$的样本在所属特征空间中的分布情况。
通常假定类条件概率密度函数的函数形式及主要参数是已知的，或者可以通过大量的抽样试验进行估计。

---

后验概率

它被定义为在观测样本$X$被观测的情况下，该观测样本属于某个类别$w$的概率，用$p(w|X)$表示。后验概率可以根据贝叶斯公式进行计算。它可以用作进行分类判决的依据。

---

条件概率

条件概率：设$A,B$为两事件，且$P(A)>0$，称
$$P(B|A)=\frac{P(AB)}{P(A)}$$
为在事件$A$发生条件下$B$事件发生的条件概率。
将条件概率公式移项即得乘法公式：
设$P(A)>0$，则有
$$P(AB)=P(A)P(B|A)=P(B)P(A|B)$$

若事件$A$与事件$B$相互独立，那么：
$$P(AB)=P(A)P(B)$$

相互独立：表示两个事件发生互不影响
互斥：表示两个事件不能同时发生
互斥事件一定不独立（一件事情的发生导致了另一件事情不能发生）
独立事件一定不互斥（如果独立事件互斥，那么根据互斥事件一定不独立，那么就会产生矛盾）

---

全概率公式

例，小张从家到公司上班总共有三条路可以直达,（如下图），但是每条路每天拥堵的可能性不太一样，由于路的远近不同，选择（互斥）每条路的概率如下：
$$p(B_1)=0.5,p(B_2)=0.3,p(B_3)=0.2$$
每天上述三条路不拥堵的概率分别为：
$$p(A_1)=0.2,p(A_2)=0.4,p(A_3)=0.7$$
假设遇到拥堵会迟到，那么小张从家到公式不迟到的概率是多少？

则不拥堵的概率为：
不迟到对应着不拥堵，设事件$A$为到公司不迟到，事件$B_i$为选择第$i$条路，则：
$$p(A)=p(B_1)\times p(A|B_1)+p(B_2)\times p(A|B_2)+p(B_3)\times p(A|B_3)$$

全概率公式就是表示达到某个目的，有多种方式（或者造成某种结果，有多种原因），问达到目的的概率是多少（造成这种结果的概率是多少）?

---

全概率公式：设实验$E$的样本空间为$S$，$A$为$E$的事件，若$B_1,B_2,\cdot \cdot \cdot ,B_n$为$S$的一个完备事件组（或称为$S$的一个划分），即满足条件

---

贝叶斯公式

仍借用上述例子，问题修改为：到达公司未迟到选择第1条路的概率是多少？
在这里需要在未迟到的基础上得出这个概率。
故有：
$$\begin{array}{rl}& p(B_1|A)=\frac{p(A|B_1)\times B_1}{p(A)}\end{array}$$
将$p(A)$按全概率公式展开得：
$$p(B_1|A)=\frac{p(A|B_1)\times p(B_1)}{p(B_1)\times p(A|B_1)+p(B_2)\times p(A|B_2)+p(B_3)\times p(A|B_3)}$$

贝叶斯公式就是当已知结果，问导致这个结果的第i原因的可能性是多少？执果索因！

贝叶斯公式：设试验$E$的样本空间为$S$，$A$为$E$的事件，$B_1,B_2,\cdot \cdot \cdot ,B_n$为$S$的一个完备事件组，即$S$的一个划分，且$P(A)>0,P(B_i)>0,i=1,2,\cdot \cdot \cdot ,n$，则
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$

---

Thanks

1. 浅谈全概率公式和贝叶斯公式
2. 贝叶斯公式的直观理解(先验概率/后验概率)
3. 联合概率、边缘概率、条件概率之间的关系&贝叶斯公式