本文介绍了贝叶斯决策论在分类任务中的应用，探讨了如何通过最小化风险选择最优类别标记。文章详细阐述了贝叶斯最优分类器的概念，以及在实际任务中如何估计后验概率。讨论了直接建模和生成式模型两种策略，并解释了类先验概率和类条件概率的概念。此外，还提到了极大似然估计、朴素贝叶斯分类器及其拉普拉斯修正，以及在属性条件独立性不成立情况下的半朴素贝叶斯分类器和独依赖估计方法。
贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。
λij：将一个真实标记为cj的样本误分为ci所产生的损失，在样本x上的条件风险为
我们的任务是寻找一个判定准则h，最小化总体风险
即
h为贝叶斯最优分类器，R(h)为贝叶斯风险，1-R(h*)反映了分类器能达到的最好性能。
最小化分类错误率的贝叶斯最优分类器，即对每个样本x，选择使后验概率P(c|x)最大的类别标记。
想要使用贝叶斯准则最小化决策风险，首先要获得后验概率。但是在现实任务中难以直接获得
通常有两种策略：
给定x，直接建模P(c|x)来预测c，这样得到的是判别式模型
先对联合概率分布P(x,c)建模。由此得到后验概率，这样得到的事生成式模型。
P©是类先验概率，P(x|c)是样本x相对于类标记c的类条件概率
最低0.47元/天 解锁文章
扫一扫
279
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
