机器学习笔记——贝叶斯分类器（I）贝叶斯决策论

基本概念

贝叶斯决策论：

对于分类任务来说，在所有的相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

基本原理

假设有$N$中可能的类别标记，即$\mathcal{Y}=\{c_1,c_2,\dots,c_N\}$，$\lambda_{ij}$是将一个真实标记为$c_j$的样本误分类为$c_i$所产生的损失。基于后验概率$P(c_i\mid\mathbf{x})$可以获得将样本$\mathbf{x}$分类为$c_i$所产生的期望损失，即在样本$\mathbf{x}$上的“条件风险”

$$R(c_i\mid\mathbf{x})=\sum_{j=1}^{N}\lambda_{ij}P(c_j\mid\mathbf{x})$$

目标

找到一个判定准则$h:\mathcal{X}\mapsto\mathcal{Y}$以最小化总体风险

$$R(h)=\mathbb{E}_{\mathbf{x}}\left[R\left(h(\mathbf{x})\mid\mathbf{x}\right)\right]$$

贝叶斯判定准则

为最小化总体风险，只需要在每个样本上选择那个可以使得条件风险$R(c\mid\mathbf{x})$最小的类别标记。即：

$$h^{*}(\mathbf{x})=\mathop{\arg\min}_{c\in\mathcal{Y}}R(c\mid \mathbf{x})$$
此时 $h^{*}$被称为贝叶斯最优分类器，与之对应的总体风险 $R(h^{*})$被称为贝叶斯风险。 $1-R(h^{*})$反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。

误判损失

若将误判损失写成：

$$\lambda_{ij}=\left\{\begin{aligned} 0&,&\text{if}\ i=j;\\ 1&,&\text{otherwise}\\ \end{aligned} \right.$$
则此时条件风险为：
$$R(c\mid\mathbf{x})=1-P(c\mid\mathbf{x})$$
最小化分类错误率的贝叶斯最优分类器为：
$$h^{*}(\mathbf{x})=\mathop{\arg\max}_{c\in\mathcal{Y}}P(c\mid\mathbf{x})$$
即对于每个样本 $\mathbf{x}$选择能够使得后验概率 $P(c\mid\mathbf{x})$最大的类别标记。

贝叶斯公式和后验概率

利用贝叶斯判定准则来最小化决策风险，首先要获得后验概率$P(c\mid\mathbf{x})$,但是这通常在现实任务中难以获得。

两种策略

判别式模型

给定$\mathbf{x}$，可通过直接建模$P(c\mid\mathbf{x})$来预测$c$。

生成式模型

先对联合概率分布$P(\mathbf{x},c)$建模，然后再由此获得$P(c\mid\mathbf{x})$
可以使用贝叶斯公式：

$$P(c\mid\mathbf{x})=\dfrac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}$$