贝叶斯分类器

1.贝叶斯决策论

对于分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。

计算期望损失：

上面是针对单个样本将正确类别误判为Ci时的期望损失，针对整个的数据集：

如果能够最小化R(h(x)|x)，那么总体风险R(h)也将被最小化。这就产生了贝叶斯判定准则：为最小化总体风险，只需要在每个样本上选择那个能使R(c|x)最小的类别标记：

2.极大似然估计

极大似然估计是根据数据采样来估计概率分布参数的经典方法。

3.朴素贝叶斯分类器

朴素贝叶斯分类器的训练是用训练集D来估计先验概率，并为每个属性估计条件概率。