机器学习——朴素贝叶斯

一、贝叶斯决策论

设输入空间$\mathcal{X}\in {\mathbb{R}}^d$是$d$维向量的集合，输出空间为标签集合 Y = { c 1 , c 2 , … , c N } \mathcal{Y}=\left\{c_{1}, c_{2}, \dots, c_{N} \right\} Y={c1​,c2​,…,cN​}，$X$是定义在输入空间上的随机变量，$Y$是定义在输出空间上的随机变量，$P(X,Y)$是$X$和$Y$联合概率分布，训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x m , y m ) } D=\left\{(\boldsymbol{x}_{1}, y_{1}), (\boldsymbol{x}_{2}, y_{2}), \dots, (\boldsymbol{x}_{m}, y_{m})\right\} D={(x1​,y1​),(x2​,y2​),…,(xm​,ym​)}，由$P(X,Y)$独立同分布地产生。

对于标签集合 y = { c 1 , c 2 , … , c N } \mathcal{y}=\left\{c_{1}, c_{2}, \dots, c_{N} \right\} y={c1​,c2​,…,cN​}，${\lambda }_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。将$\mathbf{x}$分类为$c_i$所产生的期望损失即条件风险为：
$$R\left(c_i|\mathbf{x}\right)=\sum _{j=1}^N{\lambda }_{ij}P\left(c_j|\mathbf{x}\right)$$
我们的目标是最小化总体风险：
$$R(h)={\mathbb{E}}_{\mathbf{x}}[R(h(\mathbf{x})|\mathbf{x})]$$
$h$为判定准则：$h:\mathcal{X}\mapsto \mathcal{Y}$。

**贝叶斯判定准则：**为最小化总体风险，只需在每个样本上选择哪个能使条件风险$R(c|\mathbf{x})$最小的标签，即：
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|\mathbf{x})$$
$h^{\ast }$是贝叶斯最优分类器，$R(h^{\ast })$是贝叶斯风险。

对于误判损失${\lambda }_{ij}$可以采用0-1损失：
$${\lambda }_{ij}=\{\begin{array}{ll}0,& \text{ if }i=j\\ 1,& \text{ otherwise }\end{array}$$
此时条件风险可写为：$R(c|\mathbf{x})=1-P(c|\mathbf{x})$，最优贝叶斯分类器为：
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|\mathbf{x})$$
要得到最优分类器，首先要得到后验概率$P(c|\mathbf{x})$：
$$P(c|\mathbf{x})=\frac{P(\mathbf{x},c)}{P(\mathbf{x})}$$
根据贝叶斯定理，上式可写为：

$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}$$
$P(c)$是先验概率，$P(\mathbf{x}|c)$是条件概率或似然，$P(\mathbf{x})$与标签无关，因此贝叶斯法是学习$P(c)$及$P(\mathbf{x}|c)$。

• 对于$P(c)$，根据大数定律，当训练集包含充足的独立同分布样本时，$P(c)$可以通过样本出现的频率来估计。
• 对于$P(\mathbf{x}|c)$，有指数级的参数，样本取值可能在训练集中未出现，直接使用频率估计不可行。

二、朴素贝叶斯分类器

朴素贝叶斯采用属性条件独立假设，对已知类别，假设所有属性相互独立，即：

$$P(\mathbf{x}|c)=P(x_1,x_2,\dots ,x_d|c)=\prod _{j=1}^{d}P(x_i|c)$$

则$P(c|\mathbf{x})$可写为：
$$P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}=\frac{P(c)}{P(\mathbf{x})}\prod _{i=1}^{d}P\left(x_i|c\right)$$
那么贝叶斯判定准则为：
$$h_{nb}(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P\left(x_i|c\right)$$
令$D_c$表示训练集$D$中第$c$类样本的集合，那么容易得先验概率为：
$$P(c)=\frac{\left|D_c\right|}{|D|}$$
再令$D_{c,x_i}$表示$D_c$中在第$i$个属性上取值为$x_i$的样本集合，那么条件概率可估计为：
$$P\left(x_i|c\right)=\frac{\left|D_{c,x_i}\right|}{\left|D_c\right|}$$
当某个属性在训练集中没有与某个类别同时出现时，在连乘时会出现0，此时可以用拉普拉斯修正：
$$\begin{array}{rl}\hat{P}(c)& =\frac{\left|D_c\right|+1}{|D|+N}\\ \hat{P}\left(x_i|c\right)& =\frac{\left|D_{c,x_i}\right|+1}{\left|D_c\right|+N_i}\end{array}$$
$N$为类别数，$N_i$为第$i$个属性可能的取值数目。