西瓜书读书笔记——第七章：贝叶斯分类器

首先介绍一下贝叶斯公式：

实际上，分母为全概率公式，分子为联合概率。在机器学习中，更常见的形式为
$$P(B|A)=\frac{P(A|B)P(B)}{P(A)}$$
贝叶斯公式的作用在于将P(B|A)的估计转化为估计P(A|B)和P(B)

7.1 贝叶斯决策论

\quad 贝叶斯决策论(Bayesian decision theory)是概率框架下实施决策的基本方法。

\quad 对于分类任务来说，假设所有的相关概率已知，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

基于后验概率$P(c_i|x)$可获得将样本$x$分类为$c_i$所产生的期望损失，即在样本$x$上的条件风险(conditional risk)。
$$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)\text{\hspace{1em}(7.1)}$$
其中，${\lambda }_{ij}$是将一个真实标记为$c_j$的样本错误分类为$c_i$所产生的损失(即：误判损失)；$R(c_i|x)$为条件风险，即期望损失（可由期望的公式理解式(7.1)）

我们的目标就是寻找一个判定准则h来最小化所有样本的条件风险之和，即最小化总体风险。这样就产生了贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择那个能使条件风险$R(c_i|x)$的最小类别标记$c_i$，即：
$$h^{\ast }(x)=arg\underset{c\in \gamma }{\min }R(c|x)\text{\hspace{1em}(7.3)}$$
其中，有：

• 贝叶斯最优分类器：$h^{\ast }$
• 贝叶斯风险：$R(h^{\ast })$
• 贝叶斯最优分类器的最好性能：$1-R(h^{\ast })$

于是，为了最小化分类错误率，误判损失${\lambda }_{ij}$可定义为（错误率对应于0/1损失函数）：

此时条件风险
$$R(c|x)=1-P(c|x)\text{\hspace{1em}(7.5)}$$
证明：将式(7.4)代入式(7.1)，有
于是，最小化分类错误率的贝叶斯最优分类器为：
$$h^{\ast }(x)=arg\underset{c\in \gamma }{\max }P(c|x)\text{\hspace{1em}(7.6)}$$即对每个样本x，选择能使后验概率P(c|x)最大的类别标记。（对每个样本选择类别标记）

从式(7.6)可以看出，欲使用贝叶斯判定准则来最小化决策风险，首先要得到后验概率P(c | x)。但在现实任务中，很难直接得到后验概率P(c | x)。

对于如何得到后验概率P(c | x)，主要有两种策略：

1. 给定$x$，可通过直接建模P(c | $x$)来预测$c$，这样得到的是判别式模型(discriminative models)。
2. 先对联合概率分布P($x$,c)建模，然后再由此获得P(c | $x$)，这样得到的是生成式模型(generative models)。

之前学过的决策树，BP神经网络，支持向量机都是判别式模型。而对于生成式模型，有：
$$P(c|x)=\genfrac{}{}{0ex}{}{}{P(x)}$$