周志华机器学习西瓜书学习笔记——第七章 贝叶斯分类器

第七章 贝叶斯分类器

Contents

7.1贝叶斯决策论

7.2极大似然估计

7.3朴素贝叶斯分类器

7.4半朴素贝叶斯分类器

7.5贝叶斯网

7.6 EM算法

 

7.1贝叶斯决策论

l  针对分类任务，相关概率已知，基于这些先验概率与误判损失来选择最优类别。

Bayes Decision Rule:

为最小化整体风险，只需在每个样本上选择使条件风险最小的类别c

Bayes Optimal Classifier:      

Bayes Risk:                           

机器学习的分类器精度理论上限：    

è最小化分类错误率的Bayes Optimal Classifier:

因此需要得到后验概率——方法：

1.        Discriminative models：给定x，通过建模来预测c

e.g. 决策树，BP，SVM

2.        Generative models：对建模由此得到

详细介绍：

其中