Naive BayesClassifier(朴素贝叶斯)

朴素贝叶斯的学习和分类

模型

输入：
$x\in R^p$,p维特征向量

输出
y ∈ { 1 , 2 , ⋯   , K } y\in\{1,2,\cdots,K\} y∈{1,2,⋯,K},，类别标记

训练数据集
T = { ( x 1 , y 1 ) , ⋯   , ( x n , y n ) } T=\{(x_1,y_1),\cdots,(x_n,y_n)\} T={(x1​,y1​),⋯,(xn​,yn​)}

模型假设
$(x,y)$由$p(x,y)$产生
条件独立性假设：
$$P(X=x|Y=c_k)=\prod _{i=1}^{p}p(X^i=x^i|y=c_k)$$

目标：
学习$p(x,y)$
之后给定x，求出后验概率最大的y作为分类变量输出

学习：
先验概率：$p(y)$
条件概率：
$p(X=x|Y=c_k)=P(X^1=x^1,X^2=x^2,\cdots ,X^p=x^p|Y=c_k)$

后验概率最大化
$$P\left(Y=c_k\mid X=x\right)=\frac{P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}{{\sum }_{k}P\left(X=x\mid Y=c_k\right)P\left(Y=c_k\right)}$$

分类依据：
$$y=argma{x}_{c_k}p(Y=c_k)\prod _{i=1}^{p}p(X^i=x^i|y=c_k)$$

后验概率最大化==期望风险最小化（选择0-1）损失函数
proof：
0-1损失函数
$f(x)=argmi{n}_y{\sum }_{k=1}^{K}I(y\ne C_k)p(C_k|X=x)=argmi{n}_{y}1-I(y=C_k)p(C_k|X=x)=argma{x}_{y}I(y=C_k)p(C_k|X=x)$

参数估计

极大似然估计

先验概率的极大似然估计：
$$p(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$$
条件概率的极大似然估计
$$P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)}{{\sum }_{i}I\left(y_i=c_k\right)}$$

学习和分类的算法

贝叶斯估计

极大似然估计有可能出现先验概率为0的情况，此时会影响条件概率的估计这是后采取贝叶斯估计
贝叶斯估计等价于随机变量在各个取值的频数上加上$\lambda$,一般$\lambda =1$
条件概率
$$P\left(X^{(j)}=a_{jl}\mid Y=c_k\right)=\frac{{\sum }_{i}I\left(x_i^{(j)}=a_{jl},y_i=c_k\right)+\lambda }{{\sum }_{i}I\left(y_i=c_k\right)+s_j\lambda }$$
$s_j$为$x_j$可以取值的种类数目

先验概率
$$p(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)+\lambda }{N+k\lambda }$$