【机器学习】贝叶斯模型（Bayesian Model）

最小错误率贝叶斯

先验概率

• 反映了我们的经验知识，是一种简单的判决准则

• 只依靠先验概率并不靠谱，如：学校男女比例4:1，走过来的人是男生可能性大，但不能直接分类为男生

• 需要更多的特征信息进一步进行分类

似然概率

• 特征的类条件概率

在已知特征属于某个类的前提条件下的概率密度分布

二类判决问题

• 假设已知：

1. 两类的先验概率$p(w_1)$和$p(w_2)$

2. 特征x的类条件概率密度:$p(x|w_1)$和$p(x|w_2)$

3. 当前待分类样本的观测值$x$

• 判断观测值$x$属于$w_1$和$w_2$的概率情况：

后验概率：通过特征判断
$$\begin{array}{c}p(w_1|\mathbf{x})>p(w_2|\mathbf{x})\to w=w_1\\ p(w_2|\mathbf{x})>p(w_1|\mathbf{x})\to w=w_2\end{array}$$

最小错误率贝叶斯公式

$$\begin{array}{c}P(w_i|\mathbf{x})=\frac{P(\mathbf{x}|w_i)P(w_i)}{P(\mathbf{x})}=\frac{P(\mathbf{x}|w_i)P(w_i)}{{\sum }_{i}P(\mathbf{x}|w_i)P(w_i)}\\ Posterior=\frac{Likelihood\times Prior}{Evidence}\end{array}$$

• Posterior：$P(w_i|\mathbf{x})$观测到的具有$\mathbf{x}$属性的事例或样本，该样本属于$w_i$的概率。

• Likelihood：$P(\mathbf{x}|w_i)$似然值，即第$w_i$类样本，$\mathbf{x}$属性或特征的分布情况。

• Prior：$P(w_i)$先验概率。

• Evidence：归一化因子，保证类别后验概率之和为1。

最大后验准则
$$w^{\ast }=argmaxP(w_i|\mathbf{x})$$
正比于贝叶斯公式的分子部分。

误差

$P(w_1|x)+P(w_2|x)=1$

• $P(error|x)=\{\begin{array}{l}P(w_1|x),w=w_2\\ P(w_2|x),w=w_1\end{array}$

• $P(error)={\int }_{-\infty }^{\infty }P(error,x)dx={\int }_{-\infty }^{\infty }P(error|x)p(x)dx$

期望产生分类错误最小：

m i n P ( e r r o r ) = ∫ − ∞ ∞ m i n { P ( e r r o r ∣ x ) } p ( x ) d x minP(error)=\int_{-\infty}^{\infty}min\{P(error|x)\}p(x)dx minP(error)=∫−∞∞​min{ P(error∣x)}p(x)dx

可以通过后验概率规则实现，即谁的后验概率大就分给谁：
$$\begin{array}{c}p(w_1|\mathbf{x})>p(w_2|\mathbf{x})\to w=w_1\\ p(w_2|\mathbf{x})>p(w_1|\mathbf{x})\to w=w_2\end{array}$$

例题

对癌症进行诊断，对一批人进行普查，规律如下：

1. 每1000个人中有5个癌症病人

2. 每100个正常人中有一个是试验呈阳性反应

3. 每100个癌症病人中有95个人试验呈阳性反应

问：若甲呈阳性反应，甲是否正常？

分析：

1. 第1告诉我们先验概率

2. 2、3告诉我们似然概率：

设：$w_1\to$正常； w 2 → w_2\rightarrow w