《机器学习》第七章 贝叶斯分类器 总结

贝叶斯决策论
在概率框架下实施决策的基本方法。对分类任务，在所有相关概率都已知的理想情况下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记

条件风险（condition risk）：对于一个样本x，基于后验概率P(c_i | x)可获得将样本x分类为c_i所产生的期望损失（expected loss），再定义将真实样本c_j误分类为c_i的损失λ_ij，即可得到将样本x分类为c_i类的条件风险 式(7.1)

贝叶斯判定准则（Bayes decision rule）：为最小化总体风险，只需在每个样本上选择能使条件风险最小的类别标记，按这个原则进行分类的分类器叫做贝叶斯最优分类器(Bayes optimal classifier），与之对应的总体风险称为贝叶斯风险(Bayes risk，R(h*) ），1-R(h*)反映了分类器能达到的最好性能，即通过机器学习所能产生的模型精度的理论上限

后验概率P(c_i | x)：在现实任务中难以直接获得。从这个角度看，机器学习所要实现的是基于有限的训练样本集尽可能地估计出后验概率。大体有两种策略：判别式模型（discriminative models）和生成式模型（generative models）

判别式模型：给定x，通过直接建模P(c_i | x)来预测c。决策树、BP神经网络和支持向量机都可纳入此模型范围

生成式模型：先对联合概率分布P(x,c)建模，由此再获得P(c| x)。由贝叶斯公式P(c| x)可由P(x| c)、P©和P(x)联合导出，其中P(x)和c无关，称为证据（evidence&#