统计学习方法学习笔记：第四章.朴素贝叶斯

第四章：朴素贝叶斯

两大要素：贝叶斯定理、特征条件独立假设；

算法描述：对于给定的数据集，首先根据特征条件独立假设来学习输入输出的联合概率分布，然后对于新的输入，由贝叶斯定理计算后验概率最大的输出 y；

特征条件独立假设

如果没有这一假设，那么计算$P(X=x|Y=c_k)$几乎不太可能，因为参数个数为$K\prod _{j=1}^n{S}_j，S_j为某一特征的可能的取值个数$；

有了该假设之后，就可以计算：
$P(X=x|y=c_k)=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...X^{(n)}=x^{(n)}|Y=c_k)=\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$;

贝叶斯公式

由贝叶斯公式推出朴素贝叶斯分类器的模型：
$y=arg\underset{c_k}{\max }P(Y=c_k)\prod _{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$；

参数估计

在上面求解后验概率的过程中，涉及到求解训练集的先验概率即：$P(Y=c_k)$（类别$c_k$的概率）以及条件概率$P(X=x|y=c_k)$（每一个特征的每一个值的条件概率），这就是需要学习的参数；有两种估计参数的方法分别为极大似然估计和贝叶斯估计 ；

极大似然估计：
$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(yi=c_k)}{N}$;

$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(X_i^{(j)}=a_{jl},y_i=c_k)}{\sum _{i=1}^{N}I(yi=c_k)}$，$a_{jl}$为第j个特征的第l个值；

贝叶斯估计：（极大似然可能出现频数为0，所以加上一个正数$\lambda$）
$P(Y=c_k)=\frac{\sum _{i=1}^{N}I(yi=c_k)+\lambda }{N+K\lambda }$；

$P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum _{i=1}^{N}I(X_i^{(j)}=a_{jl},y_i=c_k)+\lambda }{\sum _{i=1}^{N}I(yi=c_k)+S_j\lambda }$；

$\lambda =1$的时候，称为拉普拉斯平滑；