（《机器学习》完整版系列）第7章 贝叶斯分类器——7.1 贝叶斯决策论（贝叶斯学派与频率学派有很大的分岐）

贝叶斯分类器是在概率框架下发展起来的，因此，学习本章需要一定的概率论知识。
贝叶斯学派与频率学派的根本分歧是：后者把未知参数$\theta$看成一个未知的固定量，而前者把未知参数$\theta$看成一个随机变量。

贝叶斯决策论

将分类视为决策，分类器即为决策模型（$h$），样本$\mathbf{x}$的预测分类为$h(\mathbf{x})$，决策的风险为
$$\begin{array}{r}R(h(\mathbf{x})|\mathbf{x})\end{array}\text{\hspace{1em}(7.1)}$$
其特点是：预测正确时，则风险为0；预测错时，则风险大于0，且错得越离谱风险越大，这是风险与误差的区别，若忽略这一点，则风险就是误差。

设样例为$(\mathbf{x},y)$，类别标记集为 Y = { c i } i = 1 N \mathcal{Y} =\{c_i\}_{i=1}^N Y={ci​}i=1N​，定义一个二维表（矩阵）$({\lambda }_{ij})$，其中${\lambda }_{ii}=0$、${\lambda }_{ij}(i\ne j)$表示将真实的$c_j$类样本误分类为$c_i$类时的风险，则有
$$\begin{array}{r}R(h(\mathbf{x})=c_i|y=c_j)={\lambda }_{ij}\end{array}\text{\hspace{1em}(7.2)}$$

式(7.2)是基于样例的，即： 对于样本$\mathbf{x}$有唯一对应的标记$y$和对应的预测$h(\mathbf{x})=c_i$，从而确定了决策风险$R$。 然而，如果对于相同的样本$\mathbf{x}$可能会有不同的标记$y$，如，咳嗽可能是不同的病，这时，
使用式(7.2)时，$y=c_j$是不确定的，易想到应该用某种“平均”。 设$\mathbf{x}$的真实标记为$c_j$的概率为$P(c_j|x)$，这时，风险公式修正为
$$\begin{array}{r}R(h(\mathbf{x})|x)=\sum _{j=1}^{N}P(c_j|x){\lambda }_{ij},(h(\mathbf{x})=c_i)\end{array}\text{\hspace{1em}(7.3)}$$

假定有数据集$D=\{({\mathbf{x}}_k,y_k){\}}_{k=1}^m$，则可从中统计出相应的频率作为概率$P(c_j|x)$的估值，将式(7.3)作用于该数据集，则有决策该数据集的“总风险”
$$\begin{array}{r}\sum _{k=1}^{m}R(h({\mathbf{x}}_k)=c_i|{\mathbf{x}}_k)=\sum _{k=1}^m\sum _{j=1}^{N}P(c_j|{\mathbf{x}}_k){\lambda }_{ij}\end{array}\text{\hspace{1em}(7.4)}$$
显然，式(7.4)与数据集大小相关，平均一下：从总体上看每个样本的平均风险，称为“总体风险”，但“总体”还是数据集$D$上的总体，即
$$\begin{array}{rl}R(h,D)& =\frac{1}{|D|}\sum _{k=1}^m\sum _{j=1}^{N}P(c_j|{\mathbf{x}}_k){\lambda }_{ij}\\ & =\frac{1}{|D|}\sum _{k=1}^{m}R(h({\mathbf{x}}_k)|{\mathbf{x}}_k),(h({\mathbf{x}}_k)=c_i)\end{array}\text{\hspace{1em}(7.5)}$$

寻找最优决策就等价于寻找最小总体风险的决策。

我们先看一个数学常识：
$$\begin{array}{rl}\min (a(x)+b)& =\min a(x)+b\\ \min (a(x)+b(x))& ⩾\min (a(x)+\min b(x))\\ & =\min a(x)+\min b(x)\text{（由式(7.6)）}\\ \max (a(x)+b)& =\max a(x)+b\\ \max (a(x)+b(x))& ⩽\max (a(x)+\max b(x))\\ & =\max a(x)+\max b(x)\text{（由式(7.8)）}\end{array}\text{\hspace{1em}(7.6)(7.7)(7.8)(7.9)}$$
将其应用到式(7.5)，故有
$$\begin{array}{rl}\underset{h}{\min }R(h,D)& =\frac{1}{|D|}\underset{h}{\min }\sum _{k=1}^{m}R(h({\mathbf{x}}_k)|{\mathbf{x}}_k)\\ & ⩾\frac{1}{|D|}\sum _{k=1}^m\underset{h}{\min }R(h({\mathbf{x}}_k)|{\mathbf{x}}_k),\text{（式(7.7)推广到∑）}\\ & =\frac{1}{|D|}\sum _{k=1}^m\underset{h({\mathbf{x}}_k)=c_i}{\min }R(c_i|{\mathbf{x}}_k)\end{array}\text{\hspace{1em}(7.10)}$$
由式(7.10)知，最优解$h^{\ast }$具有性质
$$\begin{array}{r}{h}^{\ast }({\mathbf{x}}_k)=\underset{c_i\in \mathcal{Y}}{\mathrm{argmin}}R(c_i|{\mathbf{x}}_k),(h({\mathbf{x}}_k)=c_i)\end{array}$$
简化变量的字母表示并省掉显然的$(h({\mathbf{x}}_k)=c_i)$，即
$$\begin{array}{r}{h}^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c|\mathbf{x})\end{array}\text{\hspace{1em}(7.11)}$$

式(7.5)中，将“平均”改为“数学期望”即可消除$D$的关系：
$$\begin{array}{r}R(h)=\underset{\mathbf{x}}{\mathbb{E}}R(h(\mathbf{x})|\mathbf{x})\end{array}\text{\hspace{1em}(7.12)}$$

当样本空间有限时，将样本空间作为$D$，则式(7.12)就变成了式(7.5)，即式(7.5)为式(7.12)的特殊情况。 可将在这种特殊情况下得到的式(7.11)推广到一般情况式(7.12)（含无限样本空间）。

式(7.11)即为贝叶斯判别准则，$h^{\ast }$称为贝叶斯最优分类器。

当误判类别的风险无差别时，即【西瓜书式(7.4)】定义的0/1损失${\lambda }_{ij}$，也即是目标为最小化分类错误（率），则这时贝叶斯最优分类器为
$$\begin{array}{rl}{h}^{\ast }(\mathbf{x})& =\underset{c\in \mathcal{Y}}{\mathrm{argmin}}(1-P(c|\mathbf{x}))\\ & =\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|\mathbf{x})\\ & =\underset{c_i,(i=1,2,\cdots ,N)}{\mathrm{argmax}}P(c_i|\mathbf{x})\end{array}\text{\hspace{1em}(7.13)}$$
注意这里是$\max$，即平时所说的“取概率最大的进行预报”，天气预报就是这样做的。

式(7.13)称为最小化分类错误率的贝叶斯最优分类器，下面论证它是“最优”。

设有$k$个类，为方便，以序号作为类别编号，学习器为$h(\mathbf{x})$。

事件$A_i$：{样本$\mathbf{x}$属于类别$i$}，则$P(A_i)=P(i|\mathbf{x})$

事件$B_i$：{$h$预测样本$\mathbf{x}$属于类别$i$}，则$P(B_i)=P(h(\mathbf{x})=i)$

事件$C_i$：{$h$预测样本$\mathbf{x}$属于类别$i$且预测正确}，则$C_i=A_i\bigcap B_i$

事件$C$：{$h$对样本$\mathbf{x}$的预测是正确}，则$C={\bigcup }_{i=1}^k{C}_i$

由事件概率的加法原理和乘法原理知：$h$对样本$\mathbf{x}$预测的正确率为
$$\begin{array}{rl}P(C)& =\sum _{i=1}^{k}P(C_i)\\ & =\sum _{i=1}^{k}P(A_i)P(B_i)\\ & =\sum _{i=1}^{k}P(i|\mathbf{x})P(h(\mathbf{x})=i)\\ & ⩽[\max P(i|\mathbf{x})]\sum _{i=1}^{k}P(h(\mathbf{x})=i)\\ & =\underset{i}{\max }P(i|\mathbf{x})\\ & =\underset{c_i}{\max }P(c_i|\mathbf{x})\text{（当类别用ci表示时）}\end{array}\text{\hspace{1em}(7.14)(7.15)}$$
式(7.14)对任意分类器都成立，而当分类器为贝叶斯最优分类器时（概率$\underset{c_i}{\max }P(c_i|\mathbf{x})$既是贝叶斯最优分类器的分类原则式(7.13)，也是贝叶斯最优分类器对$\mathbf{x}$分类的正确率（置信度）式(7.15)），可以证明它取等号：

若$$h^{\ast }(\mathbf{x})=i^{\ast }$$
即$$i^{\ast }=\underset{i}{\mathrm{argmax}}P(i|\mathbf{x})$$
则$$P(i^{\ast }|\mathbf{x})=\underset{i}{\max }P(i|\mathbf{x})$$
由此，这时有
$$\begin{array}{rl}P(C)& =\sum _{i=1}^{k}P(i|\mathbf{x})P(h^{\ast }(\mathbf{x})=i)\\ & =\sum _{i\ne i^{\ast }}P(i|\mathbf{x})P(h^{\ast }(\mathbf{x})=i)+P(i^{\ast }|\mathbf{x})P(h^{\ast }(\mathbf{x})=i^{\ast })\\ & =0+P(i^{\ast }|\mathbf{x})\cdot 1\\ & =\underset{i}{\max }P(i|\mathbf{x})\end{array}\text{\hspace{1em}(7.16)}$$
式(7.16)即说明贝叶斯最优分类器达到了正确率的最大值。

贝叶斯最优分类器式(7.13)只是一个分类器框架，它的实现关键是如何求$P(c_i|\mathbf{x})$——找到$P(c_i|\mathbf{x})$的表达式（公式的或表格的），本章后续的讨论主要是围绕着这个话题。

针对式(7.13)中的概率，应用贝叶斯公式，有
$$\begin{array}{r}P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}\end{array}\text{\hspace{1em}(7.17)}$$
将样例分为两部分：样本$\mathbf{x}$和标记$c$，分别列出它们的概率及条件概率（共四个），式(7.17)反映了它们之间的关系式，
这些概率都有特定的名称，记忆方式：
$$\begin{array}{r}\text{后验}=\frac{\text{先验}\cdot \text{似然}}{\text{证据}}\end{array}\text{\hspace{1em}(7.18)}$$

注：基于式(7.17)（式(7.18)），产生了贝叶斯学派，它与频率学派的根本分歧是：后者把未知参数$\theta$看成一个未知的固定量，而前者把未知参数$\theta$看成一个随机变量。 贝叶斯学派是这样处理未知参数$\theta$的：（1）先随意起步：即基于在抽取样本（集）$X$之前对未知参数$\theta$的认识，主观地设定其先验分布$\pi (\theta )$；（2）再向目标调整：在获取样本$X$后，由于样本$X$包含了参数$\theta$的信息，故应通过贝叶斯公式对未知参数$\theta$的分布进行调整，得到未知参数$\theta$的后验分布（条件分布$\pi (\theta |X)$）；（3）使用后验分布：在获得未知参数$\theta$的后验分布$\pi (\theta |X)$之后，一切统计推断都必须从后验分布出发。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：6.5 核对率回归和核线性判别分析
下一篇：7.2 再谈线性判别分析（高斯分布下的线性判别分析LDA实现了贝叶斯分类器）