【机器学习-西瓜书】第7章贝叶斯分类器

最新推荐文章于 2024-01-13 20:35:04 发布

VIP文章 wayaya112

最新推荐文章于 2024-01-13 20:35:04 发布

阅读量2.9k

点赞数

文章标签：机器学习

本文链接：https://blog.csdn.net/wayaya112/article/details/123904418

版权

7.1 贝叶斯决策论 (Bayesian Decision Theory)

在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。

以多分类任务为例解释BDT的基本原理

$Y=\{c_{1}, c_{2}, ..., c_{N}\}$

$\lambda _{ij}$ 表示将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率 $P(c_{i}|x)$ 可得到将样本 x 分类为 ci 所产生的期望损失：

$R(c_{i}|x) = \sum_{j=1}^{N}\lambda_{ij} P(c_{j}|x)$

我们的目标是：寻找一个判定准则 $h: X \mapsto Y$ 以最小化总体风险：

$R(h) = E_{x}[R(h(x)\ |\ x)]$

贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险 R( c|x )最小的类别标记：

$h^{\ast}(x) = \underset{c \in Y}{arg \ min} \ R( c|x )\ \ \ \ \ \ \ \ \ \ \ \ (7.3)\\ =\underset{c \in Y}{arg \ max} P(c|x)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ (7.6)$

此时， $h^{\ast}(x)$ 称为贝叶斯最优分类器 (Bayes optimal classifier)，即对每个样本 x，选择能使后验概率 P( c|x ) 最大的类别标记。

discriminative models：给定 x，通过直接建模 P( c|x ) 来预测c。比如决策树、BP神经网络、SVM等

generative models：先建模联合概率分布 P(x, c)，然后由此获得 P（ c|x )。比如贝叶斯分类器。

根据贝叶斯定理，有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)} \ \ \ \ \ \ \ (7.8)$

其中，P(c)表示类先验prior概率；P(x|c)表示样本x 相对于类标记c 的类条件概率，也称为“似然”（likelihood），P(x) 表示归一化证据evidence因子。

别注：若加上属性条件独立性假设（同时也是朴素贝叶斯的基本假设），则有

$P(c|x) = \frac{P(c)P(x|c)}{P(x)}= \frac{P(c)}{P(x)}\prod_{i=1}^{d} P(x_{i}|c) \ \ \ \ (7.14)$

d 表示属性数目，xi 表示 x在第 i 个属性上的取值。

类先验概率P(c) 反映了样本空间中各类样本所占的比例，当训练集足够大时，可通过各类样本出现的频率来估计。

类条件概率P(x|c) 由于涉及关于x所有属性的联合概率，所以直接根据有限的训练样本出现频率来估计将十分困难。

7.2 极大似然估计 (Maximum Likel

最低0.47元/天解锁文章

wayaya112

关注

0
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
【机器学习-西瓜书】第7章贝叶斯分类器

7.1 贝叶斯决策论 (Bayesian Decision Theory)在所有相关概率都已知的情况下，贝叶斯决策论考虑的是：如何基于这些概率和误判损失来选择最优的类别标记。以多分类任务为例解释BDT的基本原理表示将真实标记 cj 的样本误分类为 ci 所产生的损失。基于后验概率可得到将样本 x 分类为 ci 所产生的期望损失：我们的目标是：寻找一个判定准则以最小化总体风险：贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险 R( c|x...
复制链接

扫一扫