Naive Bayes（Simple Example）

---

1 假设

计算$P(X|C_i)$,朴素贝叶斯分类假设类条件独立，即给定样本属性值相互条件独立。
$$P(x_1,\dots ,x_k|C_i)=P(x_1|C_i)\cdot \dots \cdot P(x_k|C_i)$$

2 Notion

贝叶斯定理：$$P(C_i|X)=\frac{P(X|C_i)\cdot P(C_i)}{P(X)}=\frac{P(X|C_i)\cdot P(C_i)}{{\sum }_{j=1}^{c}P(X|C_j)\cdot P(C_j)}$$

$i$ 表示 $label$ 的类别数

$j$ 也表示 $label$ 的类别数，只是为了区别于$i$

先验概率 $priorprobability$：$P(C_i)$，在事情发生之前的概率。根据以往经验和分析得到的概率！eg，比如抛硬币，我们都认为正面朝上的概率是 0.5！

概率密度函数 $probabilitydensityfunction$: $P(X|C_i)$

后验概率 $posteriorprobabilities$：$P(C_i|X)$，事情发生了，可能有很多原因，判断事情发生时由哪个原因引起的概率！

总结，根据先验概率和概率密度函数，计算后验概率

eg: 对于一个二分类问题，$yesorno$， 对应的贝叶斯公式如下

$$P(Yes|X)=\frac{P(X|Yes)\cdot P(Yes)}{P(X)}=\frac{P(X|Yes)\cdot P(Yes)}{P(X|Yes)\cdot P(Yes)+P(X|No)\cdot P(No)}$$

$$P(No|X)=\frac{P(X|No)\cdot P(No)}{P(X)}=\frac{P(X|No)\cdot P(No)}{P(X|Yes)\cdot P(Yes)+P(X|No)\cdot P(No)}$$

如果$P(Yes|X)>P(No|X)$，分类结果为 $Yes$，反之结果为 $No$

---

3 Simple Example

对 X = { G e n d e r = F e m a l e , I n c o m e = H i g h , A g e = M i d d l e } X = \left \{ Gender = Female,Income = High, Age = Middle \right \} X={Gender=Female,Income=High,Age=Middle} 计算分类结果 $YesorNo$

---

$P(Yes)=3/6$

由图知

$P\left(Gender=Female\mid Yes\right)=2/3$

$P\left(Income=High\mid Yes\right)=3/3$

$P\left(Age=Middle\mid Yes\right)=1/3$

所以

$$P\left(X\mid Yes\right)\cdot P(Yes)=P\left(Gender=Female\mid Yes\right)\cdot P\left(Income=High\mid Yes\right)\cdot P\left(Age=Middle\mid Yes\right)\cdot P(Yes)=\frac{2}{3}\times \frac{3}{3}\times \frac{1}{3}\times \frac{3}{6}\approx 0.111$$

---

$P(No)=3/6$

由图知

$P\left(Gender=Female\mid No\right)=1/3$

$P\left(Income=High\mid No\right)=1/3$

$P\left(Age=Middle\mid No\right)=2/3$

所以

$$P\left(X\mid No\right)\cdot P(No)=P\left(Gender=Female\mid No\right)\cdot P\left(Income=High\mid No\right)\cdot P\left(Age=Middle\mid No\right)\cdot P(No)=\frac{1}{3}\times \frac{1}{3}\times \frac{2}{3}\times \frac{3}{6}=0.037$$

---

$$P(Yes|X)=\frac{P(X|Yes)\cdot P(Yes)}{P(X|Yes)\cdot P(Yes)+P(X|No)\cdot P(No)}=\frac{0.111}{0.111+0.037}=75\%$$

$$P(No|X)=\frac{P(X|No)\cdot P(No)}{P(X|Yes)\cdot P(Yes)+P(X|No)\cdot P(No)}=\frac{0.037}{0.111+0.037}=25\%$$

因为

$P(Yes|X)>P(No|X)$

所以

分类结果为$Yes$

4 基于最小错误率的贝叶斯决策

为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得。这是因为计算概率都要拥有大量数据才行。在估计先验概率与类条件概率密度函数时都可搜集到大量样本，而对某一特定事件(如x)要搜集大量样本是不太容易
的。因此只能借助Bayes公式来计算得到。

对基于最小错误率的贝叶斯决策来说，以后验概率值的大小作判据是最基本的方法，而其它形式的作用（如下）都基本相同，但使用时更方便些。

（1）

如果
$$P(w_i|x)=\underset{j=1,2}{\max }P(w_j|x)$$
则
$$x\in w_i$$

（2）

如果 $$P(x|w_i)P(w_i)=\underset{j=1,2}{\max }P(x|w_j)P(w_i)$$

则 $$x\in w_i$$

（3）似然比

如果 $$l(x)=\frac{p(x|w_1)}{p(x|w_2)}>\frac{p(w_2)}{p(w_1)}$$

则
$$x\in w_1$$
否则
$$x\in w_2$$

(4) 似然比的负对数 -ln

$$P(e)={\int }_{R_1}P(x|w_2)P(w_2)dx+{\int }_{R_2}P(x|w_1)P(w_1)dx$$

如下图所示

阴影处就是 $P(e)$ ，也可以写成

$$P(e)={\int }_{R_1}P(w_2|x)P(x)dx+{\int }_{R_2}P(w_1|x)P(x)dx$$

5 基于最小风险贝叶斯决策

加了权重

在决策中，除了关心决策的正确与否，有时我们更关心错误的决策将带来的损失。比如在判断细胞是否为癌细胞的决策中，若把正常细胞判定为癌细胞，将会增加患者的负担和不必要的治疗，但若把癌细胞判定为正常细胞，将会导致患者失去宝贵的发现和治疗癌症的机会，甚至会影响患者的生命。这两种类型的决策错误所产生的代价是不同的。

考虑各种错误造成损失不同时的一种最优决策，就是所谓的最小风险贝叶斯决策。设对于实际状态为wj 的向量xx采取决策αi 所带来的损失为

该函数称为损失函数，通常它可以用表格的形式给出，叫做决策表。需要知道，最小风险贝叶斯决策中的决策表是需要人为确定的，决策表不同会导致决策结果的不同，因此在实际应用中，需要认真分析所研究问题的内在特点和分类目的，与应用领域的专家共同设计出适当的决策表，才能保证模式识别发挥有效的作用。
对于一个实际问题，对于样本xx，最小风险贝叶斯决策的计算步骤如下：
（1）利用贝叶斯公式计算后验概率：

其中要求先验概率和类条件概率已知。
（2）利用决策表，计算条件风险：

（3）决策：选择风险最小的决策，即：

现在用之前的判别细胞是否为癌细胞为例。状态1为正常细胞，状态2为癌细胞，假设：

---

参考 最小风险贝叶斯决策