吃瓜教程笔记—Task 06（贝叶斯分类器）

贝叶斯分类器

贝叶斯决策论

 贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。


注：样本分类越准确，模型训练效果越好。

总结：
从贝叶斯决策论（概率框架）的角度：机器学习所要做的就是基于有限的训练样本集尽可能准确地估计出后验概率P(c|x)。
从机器学习自己的角度：给定一个样本x，求一个能准确分类x的f(x)，其有些算法可以看作是对后验概率建模P(c|x)(例如对数几率回归)，而有些算法则是纯粹完成样本分类（例如SVM）

判别式模型和生成式模型

判别式模型：给定x，直接建模P(c|x)来预测c。
生成式模型：先对联合概率P(x，c)建模，然后再由此推导出P(c|x)

p©好算，而p(x|c)难算，所以针对这个情况，提出属性条件独立性假设。

朴素贝叶斯分类器

半朴素贝叶斯分类器

属性条件独立性假设，在现实任务中往往很难成立，于是人们尝试对属性条件独立性假设进行一定程度的放松。