机器学习读书笔记之贝叶斯分类

这篇读书笔记之所以拖了很久还是因为对概率和统计的知识不够熟悉，考研的时候考的数学二，不考概率论，就只复习了高数和线代，所以用了很多时间去补上概率统计的知识，资料包括统计学习方法、ISL和一些CSDN上的博客，我尽量结合这些内容按照西瓜书的顺序写下这篇笔记。

目录

1.贝叶斯决策论
2.极大似然估计
3.朴素贝叶斯分类器
4.半朴素贝叶斯分类器
5.贝叶斯网
6.EM算法

1.贝叶斯决策论

两句话加一个公式描述什么是贝叶斯决策论(Bayesian decision theory)。

两句话：贝叶斯决策论就是基于概率和误判损失选择最优类别标记。获得概率的方法就是把对后验概率的求解转换为对类先验概率和类条件概率的求解。

一个公式：

其中P(c|x)是学习的目标后验概率，P（c）是先验概率，P(x|c)是类条件概率。

类先验(prior)概率P（c）的求解方法很简单，就是每种类别的样本在数据集中所占的比例。

类条件概率(class-conditional probability)P(x|c)可以通过极大似然估计来进行求解。

2.极大似然估计

在讨论极大似然估计(Maximum Likelihood Estimation)之前，一句话带过为什么要求最大的后验概率（或最大的类条件概率）。根据《统计学习方法》，因为朴素贝叶斯法会将实例分到后验概率最大的类别中，为了使误判风险最小化，就要使该后验概率尽可能最大，即由期望风险最小化准则得到后验概率最大化准则。

为了求出最大的后验概率（根据贝叶斯决策论，在最大似然估计中实际上是求最大的类条件概率），我们假设类条件概率服从某种确定的概率分布形式，再对参数进行估计。假设P(x|c)被参数 θ \theta