朴素贝叶斯算法

朴素贝叶斯算法

----生成模型

优点：学习预测效率高，适合多分类；
朴素：假设条件独立即各特征之间独立，方便后续计算条件概率，但是，这样也就降低了一定的准确率。
学习算法：首先要搞清楚算法流程是什么（算法），流程中需要计算什么，为什么需要这些信息（策略），知道这些信息后为什么可以用来决策（模型）

算法流程

朴素贝叶斯估计法

输入：训练数据 T = { ( x 1 , y 1 ) , . . . . , ( x N , y N ) } T=\{(x_1,y_1),....,(x_N,y_N)\} T={(x1​,y1​),....,(xN​,yN​)},其中$x_i=(x_i^1,...,x_i^n)$（表明第$i$个样本有$n$个特征对应的取值），$x_i^j$是第$i$个样本的第$j$个特征，其中， x i j ∈ { a j 1 , . . . , a s j } x_i^j\in \{a_{j1},...,a_{s_j}\} xij​∈{aj1​,...,asj​​},$a_{jl}$是第$j$个特征可能取得第$l$个值，第$j$个特征属性可能有$s_j$个取值。 y i ∈ { c 1 , . . . , c k } y_i\in \{c_1,...,c_k\} yi​∈{c1​,...,ck​}。所以，训练样本可以总结成：$N$个样本 、$n$个特征属性，第$j$个特征属性有$s_j$个取值。
对于实例$X$
输出：实例$X$的分类。
（1）使用朴素贝叶斯估计法–计算先验概率、条件概率。
$p(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N},k=1,2,...,K$,
$p(x^j=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$ -----穷举：计算了每个特征在已知类别条件下的条件概率）
（2）对于给定的实例$X=(x^1,...,x^n{)}^T$,计算：
$p(Y=c_k){\prod }_{j=1}^{n}p(x^j|Y=c_k),k=1,2,...,K$.
（3）确定实例$X$的分类：
$y=argma{x}_{c_k}p(Y=c_k){\prod }_{j=1}^{n}p(x^j|Y=c_k),k=1,2,...,K$后验概率最大化原理是由期望风险最小化函数得到（可以先搞清楚模型框架）

贝叶斯估计法

上述中的朴素贝叶斯估计法（极大似然估计）可能出现所要估计的概率值为0的情况，会影响到后验概率的计算结果。
先验概率 : $p_{\lambda }(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+K\lambda }$
条件概率:$p(x^j=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)+\lambda }{{\sum }_{i=1}^{N}I(y_i=c_k)+S_j\lambda }$
------等价于在随机变量各个取值的频数行赋予一个正数$\lambda$*