接上一篇《最小错误率贝叶斯分类和matlab实现》,本文将介绍最小风险贝叶斯分类以及它与最小错误率贝叶斯分类的关系。
1、最小风险贝叶斯分类
比较熟悉机器学习或深度学习的同学可能对“损失”这个词更熟悉,其实在这里“风险”就是“损失”的意思。
为什么要有最小风险和最小错误率这两种方法呢?
最小错误率贝叶斯分类是以最小化分类错误率(或最大化后验概率)为目标来判定样本对应的类别的,使用贝叶斯公式计算得到样本一系列的后验概率,我们取最大的那个概率所对应的类别为最终的类别。
而最小风险的思想是,当样本的真值和决策觉果不一致会带来损失时,这种损失的信息往往更关键,因此在某些情况下,引入风险的概念以求风险最小的决策更合理。因此这一方法的重点就在于构建损失函数。
设现在有m个模式:
a种决策:
设一个样本真类别为wj却做了决策αi时的损失函数为:
列出贝叶斯决策表: