朴素贝叶斯以及它的三个模型

一.先验概率和后验概率理解：

先验：统计层次上的经验而知当下发生的概率；

后验：当下由因及果的概率；

举例：

1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；

2）似然——下雨（果）的时候有乌云（因）的概率，即已经有了果，对证据发生的可能性描述；

3）后验——根据天上有乌云（原因），下雨（结果）的概率；

后验 ~ 先验*似然 ： 存在下雨的可能（先验），下雨之前会有乌云（似然）~ 通过现在有乌云推断下雨概率（后验）；

先验分布：根据一般的经验认为随机变量应该满足的分布
后验分布：通过当前训练数据修正的随机变量的分布，比先验分布更符合当前数据
似然估计：已知训练数据，给定了模型，通过让似然性极大化估计模型参数的一种方法

后验分布往往是基于先验分布和极大似然估计计算出来的。

二.朴素贝叶斯方法：

  1. 朴素贝叶斯方法要求各特征之间是独立的；朴素贝叶斯是有监督学习算法；朴素贝叶斯要求y的取值是离散的。

            2.根据贝叶斯公式可以得到

            

                在X=x条件下，求得每一个y取值的概率（后验概率），然后取其中最大的一个的值，作为X的预测值；

                模型公式为

                    

三.朴素贝叶斯原理：

假设模型损失函数选择0-1损失函数

                

                期望风险函数如下

                    

                推导如下：

                    

                    即选择后验概率最大的预测值，使得损失函数最小；

三.算法流程：

        1.计算先验概率和条件概率：

                

                这个应该是构建模型是完成

                条件概率，应该是构造这样的一个数组：

	x0	x1	x2
y0	dict	dict
y1

每个dict为{ value0:0.2, value1:0.8 }这样，同一列字典key一致；

                    2.给定实例X，计算

                                        、

                        3.确定实例的类别：

                                    

                    

四.三种常见的模型及编程实现

1 多项式模型

当特征是离散的时候，使用多项式模型。多项式模型在计算先验概率P(yk)P(yk)和条件概率P(xi|yk)P(xi|yk)时，会做一些平滑处理，具体公式为：

P(yk)=Ny