机器学习笔记 第七章贝叶斯分类器

7.1  贝叶斯决策论

        贝叶斯决策论是概率框架下实施决策的基本方法.对分类任务来说，在所有相关概率都己知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。给定N个类别，令代表将第j类样本误分类为第i类所产生的损失，则基于后验概率将样本x分到第i类的条件风险为：

        为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记，即贝叶斯判定准则：

        称为贝叶斯最优分类器，其总体风险称为贝叶斯风险，反映了分类器所能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限。