1.先验概率:在缺乏某种事实的情况下描述一个变量。比如预测下一次捞到的鱼的类别是很困难的,假设下一次捞到鲈鱼的概率为,捞到鲑鱼的概率为
,这里的
就是先验概率
2.后验概率:是在考虑了一个事实之后的条件概率。可以通过先验概率计算出,也就是贝叶斯公式:
3. 类条件概率
若样本 为
维向量,第
类
样本的条件概率密度服从均值为
,协方差为
的多元高斯分布:
上式中,是
的行列式函数, T 是矩阵转置符号,
是
的逆矩阵。上面的高斯概率密度函数值的计算可以使用 matlab 中的函数 mvnpdf()实现。
4. 最小错误率贝叶斯分类器
考虑 c 类样本,令分类器函数为:
则
称上述为最小错误率贝叶斯分类器。
5. 贝叶斯决策论基本思想:为最小化风险,总是选择那些能够最小化条件风险的行为。尤其是,为了最小化分类问题中的误差概率,总是选择那些使后验概率最大的类别。
6. 缺点:需要知道先验概率,计算条件密度函数困难,同时由于只作一次判决会引起许多问题。