朴素贝叶斯方法（含作业）||《统计学习方法》李航_第4章_蓝皮（学习笔记）

模型

朴素贝叶斯是根据贝叶斯定理学习联合概率 $\mathcal{F}$ = { P   ∣   P ( Y , X ) } \{P\ |\ P ( Y,X ) \} {P ∣ P(Y,X)}，因此朴素贝叶斯是一个生成模型。所以根据贝叶斯公式，
就要通过数据得到先验概率分布 $P(Y=c_k)$和条件概率分布 $P(X=x|Y=c_k)$

策略

后验概率最大化
$y=f(x)=arg\underset{c_k}{\max }\frac{P(Y=c_k){\prod }_{j}P(X^j=x^j|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^j=x^j|Y=c_k)}$

因为分母都一样，所以等价于
$y=f(x)=arg\underset{c_k}{\max }P(Y=c_k){\prod }_{j}P(X^j=x^j|Y=c_k)$

算法

因为直接计算条件概率有指数级数量的参数，所以把概率估计转化为参数估计

极大似然估计

作业

假设有N个数据，先验概率$p=P(Y=c_k)$且彼此相互独立
似然函数为
$L(p)=P(y1,y2...yN)=p^{{\sum }_i^{N}I(yi=c_k)}(1-p{)}^{{\sum }_i^{N}I(yi̸=c_k)}$
求导得
$p^{{\sum }_i^{N}I(yi=c_k)-1}(1-p{)}^{{\sum }_i^{N}I(yi̸=c_k)-1}((1-p){\sum }_i^{N}I(yi=c_k)-p{\sum }_i^{N}I(yi̸=c_k))=0$
解得
$p=P(Y=c_k)=\frac{{\sum }_i^{N}I(yi=c_k)}{N}$

由于朴素贝叶斯对先验概率和条件概率都做了独立性假设，因此联合概率也彼此独立
可以得到

$p=P(Y=c_k，X^{(j)}=a_{jl})=\frac{{\sum }_i^{N}I(X^{(j)}=a_{jl},yi=c_k)}{N}$

所以条件概率$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_i^{N}I(X^{(j)}=a_{jl},yi=c_k)}{{\sum }_i^{N}I(yi=c_k)}$

贝叶斯估计

用极大似然估计可能会得到估计值为0的情况，因此采用贝叶斯估计
作业
未知的情况下，可以考虑假设先验概率$p=P(Y=c_k)$为均匀分布，即
$pK-1=0$ …(1)
又因为
$p=P(Y=c_k)=\frac{{\sum }_i^{N}I(yi=c_k)}{N}$ …(2)
所以引入一个$\lambda$
$(1)\ast \lambda +(2)$ =0
解得
$p=P_{\lambda }(Y=c_k)=\frac{{\sum }_i^{N}I(yi=c_k)+\lambda }{N+K\lambda }$

同理得到

$p=P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_i^{N}I(X^{(j)}=a_{jl},yi=c_k)+\lambda }{{\sum }_i^{N}I(yi=c_k)+S_j\lambda }$

注：$\lambda =1$时是拉普拉斯平滑。

参考第4章答案