Bayes决策理论（一）：最小错误率和最小风险决策

Bayes决策理论（一）：最小错误率和最小风险决策

Bayes定理

符号：wi 表示类别；x表示待分类的样本或者其特征；p(wi)为类别的先验概率，表示每个类别在所有类别中出现的概率；p(x|wi)为wi的先验概率，表示已知类别为wi的情况下x出现的概率；p(wi|x)为wi的后验概率，表示出现x的情况下x属于类别wi的概率。
使用Bayes定理分类的基本思想就是，通过待识别样本x或其特征，判断其属于哪个类别wi的概率更大。
Bayes公式：

根据Bayes公式，我们要求未知样本x的属于类别wi的概率p(wi|x)，就需要知道所有类别的p(wi)和p(x|wi)。而p(wi)和p(x|wi)通常经过大量的训练样本和假设条件获得

最小错误率决策

最小错误率决策指将样本分错的概率最小，那么换句话说就是在对样本进行分类的时候分为正确类别的概率最大。也就是说，我们把使得后验概率p(wi|x)最大的wi作为x的判定类别。因为p(wi|x)最大即表示x属于wi的概率最大，也就是x被判错的概率最小。

最小风险决策

有时候，我们会遇到一些这样的情况：比如将一个有毒的蘑菇判断为无毒的蘑菇，它带来的后果很严重；而将无毒的蘑菇判定为有毒的蘑菇的后果相对轻很多。
因此，在做分类决策时就要考虑每一个判定的风险，为了使整体风险最小，一种最小风险