《机器学习》第七章笔记

第七章 贝叶斯分类器

1.贝叶斯决策论，是在概率框架下实施决策的基本方法

2.对分类任务来说，贝叶斯决策论考虑如何基于这些概率和误判损失函数来选择最优的类别标记

3.总体思想是让每一个分类器的风险最小，这样算期望的时候也最小

4.贝叶斯分类器：h=argmin 错误即损失λ×后验概率P（c|x）

5.要估计后验概率有两种策略，

判别式模型，给定x，对p（c|x）进行建模，常见的 有BP神经网络，决策树，支持向量机---如何建模的呢？

生成式模型，对联合概率p(c,x）进行建模，在导出p（c|x），p(c|x)=p(c)p(x|c)/p(x),p(c)是先验概率，p(x|c)是类条件概率，也称为似然，p（x）是用于归一化的证据因子，在给定样本x 的条件下，p（x）与样本标记无关，所以主要关注分子项

p（x|c）难以直接估计，所以采用似然估计，假定p（x|c）是某种概率分布形式，再基于训练样本对概率分布的参数进行估计，即p（x|c）有具体的分布形式，被参数θc唯一确定，所以我们的目标就转为估计θc