贝叶斯分类器

一、贝叶斯决策论

样本x在分类为ci所产生的期望损失（条件风险）：

二、两类错误率

根据贝叶斯决策理论可知，使错误率最小的决策就是使后验概率最大的决策
1.最小错误率贝叶斯决策：

2.最小风险贝叶斯决策：

①计算后验概率:

其中要求先验概率和类条件概率已知。
②计算条件风险：

③决策：选择风险最小的决策

三、极大似然估计

四、贝叶斯估计

不再把参数看成一个未知的确定变量，而是看成未知的随机变量。贝叶斯估计的本质：贝叶斯估计的本质是通过贝叶斯决策得到参数的最优估计，使得总期望风险最小。

五、贝叶斯学习

六、朴素贝叶斯分类器——基于属性条件独立性假设

七、半朴素贝叶斯分类器——基于属性条件非独立性假设（简介）

八、贝叶斯网（信念网）

1.结构

典型结构：

同父结构：x1确定时，x3和x4条件独立；x1不确定时，x3和x4不条件独立；
顺序结构：x确定时，y和z条件独立；x不确定时，y和z不条件独立；
V型结构：x4确定时，x1和x2必不独立；x4不确定时，y和z条件独立。

道德图：

2.学习——最小长度描述准则（MDL）：

注：PB由经验估计（计算方法自行构造）获得，与D上的经验分布有关。

3.推断——吉布斯采样