朴素贝叶斯法

    朴素贝叶斯法是基于贝叶斯原理与特征独立假设的分类方法。

    朴素贝叶斯法通过训练数据集的学习联合概率分布P(X,Y)。

一、朴素贝叶斯算法学习过程：

    1.学习先验概率分布:,   

    2.学习条件概率分布：

    3.对给定的新数据x输入，列出x对应后验概率公式，使得后验概率最大化的类作为x的输出。直观理解：在x这个输入条件下，根据训练数据集的分布情况，找出使x最大化后验概率的输出Y类别，即是对X的预测输出。

    x的后验概率：，其中分子的前半部分是前面所求的条件概率分布，后半部分是前面所求的先验概率分布。

    4.应用朴素贝叶斯的“朴素”：对条件概率分布做了独立性假设，假设各个特征间独立，数学表达式：

   

                                 

    5.将4中的等式带入3中，

    6.贝叶斯分类器可表示为：，即最大化后验概率。

       对于分母，所有的都是相等的，累加起来是一个常量，于是可简化为

        输出：求出最大化分类器的y所属的值，便是对x预测的输出。

二、最大化后验概率的意义

    在上面的3中给出了一种对于最大化后验概率自己的一种直观理解，下面是对于后验概率最大化的类就是x对应最可能的输出的数学推导：

                    

                    

    参考文章：统计学习方法