《统计学习方法》第四章

4.1 朴素贝叶斯

        朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法，求出后验概率最大的输出y，y就是一个类别标签（常用贝叶斯做一个分类器）

4.1.1 基本方法

        了解贝叶斯关键就是了解公式上每一步都是代表着什么含义

        设输入空间，输出空间为类标记集合且,两个空间都是随机变量，且独立同分布。求

        于是我们可以根据训练集得出联合概率分布，以及：

        先验概率分布：

        条件概率分布：

        因为朴素贝叶斯是作了条件独立性假设的，也就是上式的条件概率分布可以拆分为：

        在看一下贝叶斯的公式，差一个分母：

        （我不知道这样理解对不对，如果错了，请指正指正）分母我把它理解为一个边缘概率分布（借鉴连续性随机变量）这里的分母就是表达，不管我当前Y取那一类，我只管输入数据X的分布，所以，我们可以将分母拆成多个联合分布：

        然后，我们根据条件概率的公式去求右式的每一项，因为我们可以根据训练集收集到计算需要的信息：（取其中一项）

        

        于是我们整个贝叶斯公式可以更改为：

        因为朴素贝叶斯的输入空间各个随机变量都是独立的，于是我们可以继续改：

        上式就是朴素贝叶斯分类器，我们再往最外层套一个求最大值，并且我们发现，无论输出神标签，分母都是一个固定值，于是我们求最大值就等同于求分母的最大值，所以朴素贝叶斯分类器最后可以表示为：

        接下来，我们要分析为什么要取最大值：

        详细介绍请看：解释为什么求最大值以及我们最后得到一个结论，求后验概率最大化等同于求期望风险最小化

4.2.1 朴素贝叶斯法的参数估计（极大似然估计）     

        得到了贝叶斯朴素分类器后，我们就进行计算了

        第一项可以表示为：

 其中N是所有样本总数

        设第j个特征 可能取值的集合为，其中表示第Sj个特征的值，第二项可以表示为：

        其中：j=1...n;   L=1...Sj;   k=1...K

4.2.2 贝叶斯估计

        如果我们直接用极大似然估计可能会出现要估计的概率为0的情况，这会导致最终的结果等于0，所以我们引入 拉普拉斯平滑取解决这个问题，从而形成贝叶斯估计：

        对应的条件概率的贝叶斯估计：

        先验概率的贝叶斯估计：

5.1 例子