机器学习-贝叶斯分类器

引言

在生活中我们会遇到各种各样的决定，比如明天穿哪件衣服，今天中午去吃食堂的哪个档口！那么我们做出这些决定，肯定受到今天心情，天气等因素的影响，当然还有之前穿这件衣服的次数以及取这个档口的食物是否美味有关。所以我们今天我们要来讲一个概率论里面非常重要的一个内容——贝叶斯！它可以帮助我们预测这些决定！

贝叶斯决策论

定义：在所有相关概率已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
举个栗子：假设当前有一个N分类的问题，分类标签 y ∈ { c 1 , c 2 , . . . . . . c n } y \in \{ {c_1},{c_2},......{c_n}\} y∈{c1​,c2​,......cn​}，${\lambda }_{ij}$是将真实标记为$c_i$的样本错分为$c_j$所产生的损失。

条件风险

我们将定义当个样本所产生的期望损失（条件风险）为：
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}p(c_j|x)$$
其中$p(c_j|x)$为后验概率。

总体风险

总体风险是条件风险的期望：
$$R(h)=E_x[R(h(x)|x)]$$
其中h为分类器（模型），显然分类效果越准确的h，可以使得条件风险和总体风险小。

贝叶斯判定准则

定义：为了最小化总体风险，只需要在每个样本上选择可以使得条件风险最小的类别标记：
$$h^{\ast }(x)=\arg \min R(c|x)$$
此时的$h^{\ast }(x)$就是最优分类器。
具体的：如果若目标为最小化分类错误率，那么误判损失${\lambda }_{ij}$可以采用0-1损失：

此时单个样本的条件风险为：
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}p(c_j|x)=1\ast p(c_1|x)......+0\ast p(c_i|x)+......p(c_n|x)$$
所以条件风险可以进一步转换为：
$$R(c_i|x)=1-p(c_i|x)$$
按照贝叶斯判定准则，最小错误率的贝叶斯最优分类器为：
h ∗ ( x ) = arg ⁡ min ⁡ c ∈ y R ( c ∣ x ) = arg ⁡ min ⁡ i ∈ { 1 , 2 , . . . n } R ( c i ∣ x ) {h^*}(x) = \mathop {\arg \min }\limits_{c \in y} R(c|x) = \mathop {\arg \min }\limits_{i \in \{ 1,2,...n\} } R({c_i}|x) h∗(x)=c∈yargmin​R(c∣x)=i∈{1,2,...n}argmin​R(ci​∣x)
h ∗ ( x ) = arg ⁡ min ⁡ i ∈ { 1 , 2 , . . . n } 1 − p ( c i ∣ x ) = arg ⁡ max ⁡ i ∈ { 1 , 2 , . . . n } p ( c i ∣ x ) = arg ⁡ max ⁡ c ∈ y p ( c ∣ x ) {h^*}(x) = \mathop {\arg \min }\limits_{i \in \{ 1,2,...n\} } 1 - p({c_i}|x) = \mathop {\arg \max }\limits_{i \in \{ 1,2,...n\} } p({c_i}|x) = \mathop {\arg \max }\limits_{c \in y} p(c|x) h∗(x)=i∈{1,2,...n}argmin​1−p(ci​∣x)=i∈{1,2,...n}argmax​p(ci​∣x)=c∈yargmax​p(c∣x)
所以要想最小化每个样本的条件风险，就应该选择后验概率最大的类别最为标记！

贝叶斯定理

判别式模型：判别式模型是指给定数据x，根据样本x直接建模后验概率$p(c|x)$来预测标记！比如逻辑回归，决策树，svm。
生成式模型：先对联合概率密度$p(x|c)$进行建模，然后再推导出$p(c|x)$，比如贝叶斯决策和概率图。
贝叶斯定理：
$$p(c|x)=\frac{p(c)p(x|c)}{p(x)}$$
其中p©是先验概率，比如西瓜数据集中好瓜或者坏瓜的概率；$p(x|c)$是样本x对于类别c的类条件概率，比如好瓜情况下色泽=浅白的概率；p(x)是用于归一化的“证据因子”。

朴素贝叶斯分类器

属性条件独立性假设：对已知类别，假设所有属性独立。
$$p(c|x)=\frac{p(c)p(x|c)}{p(x)}=\frac{p(c)}{p(x)}\prod _{i=1}^{d}p(x_i|c)$$
其中d为样本的属性的数目，xi是x再第i个属性上的取值，基于贝叶斯判定准则：
$$h^{\ast }(x)=\underset{c\in y}{\mathrm{argmax}}p(c|x)=\underset{c\in y}{\mathrm{argmax}}\frac{p(c)}{p(x)}\prod _{i=1}^{d}p(x_i|c)$$
由于对所有的类别，p(x)可以看作常量：
$$h_{nb}(x)=\underset{c\in y}{\mathrm{argmax}}p(c)\prod _{i=1}^{d}p(x_i|c)$$
接下来有一个很好的问题，我们该怎么去获得联合概率密度$p(x_i|c)$呢？
第i个属性为离散属性：
$$p(x_i|c)=\frac{|D(c,x_i)|}{|D(c)|}$$
其中$D(c_i,x)$表示再D©中再第i个属性上取值为xi的样本所组成的集合。比如好瓜中色泽=浅白的概率。
第i个属性为连续属性：
$$p(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}{e}^{-\frac{{(x_i-{\mu }_{c,i})}^2}{2{{\sigma }_{c,i}}^2}}$$
其中${\mu }_{c,i}$和${\sigma }_{c,i}$分别代表第c类样本再第i个属性上的平均值和方差。

半朴素贝叶斯分类器

适当考虑一部分属性之间的依赖关系，从而不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。
独依赖估计：假设每个属性再类别之外最多依赖于一个其他属性，即
$$p(c|x)\alpha p(c)\prod _{i=1}^{d}p(x_i|c,p_{ai})$$
其中$p_{ai}$为属性xi所依赖的属性，称为xi的父属性。