贝叶斯分类器

贝叶斯决策论

贝叶斯决策论是在概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记
以一个多分类任务为例：假设当前有一个N分类问题，即y={c1,c2…cn}

贝叶斯判定准则：
为最小化总体风险R(h)，只需在每个样本上选择那个能使条件风险 R(c|x)最小的类别标记，即
$$h^{\ast }(x)=arg\underset{c\in y}{\min }R(c|x)$$
此时，h^*称为贝叶斯最优分类器


从贝叶斯决策论（概率框架）的角度：机器学习所要做的就是基于有限的训练样本尽可能估计出后验概率P(c|x)
从机器学习自己的角度：给定一个样本x,能求出一个准确分类x的f(x),其有些算法可以看做是对后验概率模型P(c|x)（例如对数几率回归），而有些算法则是纯粹完成样本分类（例如svm）

生成式模型和判别式模型

判别式模型：给定x，直接建模P(c|x)来预测c
生成式模型：先对联合概率P(x,c)建模，然后再由此推导得出P(c|x)

朴素贝叶斯分类器

这里分布可以换成别的分布

半朴素贝叶斯

版朴素贝叶斯分类器：适当考虑一部分属性间的相互依赖的信息，从而既不需要进行完全联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。