《统计学习方法》学习笔记(四)——朴素贝叶斯法

　　相信大家对贝叶斯定理已经非常熟悉了，不过这里还是先对贝叶斯定理进行一下扫盲介绍。
　　预备知识：1、先验概率：用$P(B_{i})$表示没有训练数据前假设假设$h$拥有的初始概率，称为先验概率。先验概率反映了关于$B_{i}$是一正确假设的机会的背景知识；2、后验概率：$P(B_{i}|A)$为后验概率，给定A时$B_{i}$成立的概率，称为$B_{i}$的后验概率；3、极大后验概率：最佳假设$P(B_{k}|x)=argmin_{k} \frac {P(x|B_{i})P(B_{i})} { P(x) }$;4、极大似然估计：假设H中每个假设没有相同的先验概率，可以简化为：$P(B_{k}|x)=argmin_{k}P(x|B_{i})$（极大似然估计有一个博客写的很好，大家参考下，http://blog.csdn.net/zouxy09/article/details/8537620）
　　$P(A|B)$是在B发生的情况下A发生的可能性
假设$B_{1},......,B_{n}$为互斥且构成一个完全事件，已知概率$P(B_{i}),i=1,....,n$，现观察到某事件A与$B_{1},......,B_{n}$相伴随机出现，且已知条件概率$P(A|B_{i})$，求$P(B_{i}|A)$:
　　　　　　　　　　　　　　　　$P(B_{i}|A)=\frac {P(B_{i})P(A|B_{i})} {\sum_{j=1}^{n}P(B_{j})P(A|B_{j})}$
即已知$P(A|B_{i})$(先验信息)与$P(B_{i})$（样本信息）的情况下，求得$P(B_{i}|A)$（后验信息）
朴素贝叶斯算法：
　　step1：设$x={a_{1},a_{2},...,a_{m}}$为一个待分类项，其中$a_{i}$为$x$的一个特征属性；
　　step2：有类别集合$C=\left \{ y_{1},y_{2},...,y_{n} \right \}$；
　　step3：计算$P(y_{1}|x),P(y_{2}|x),...,P(y_{n}|x)$
　　step4：若$P(y_{k}|x)=max_{k}\left \{ P(y_{1}|x),P(y_{2}|x),...,P(y_{n}|x) \right \}$，则将$x$分类到第$k$类；
　　下面重点讨论第3步：
　　1、找到一个已知分类的待分类项集合，这个集合为训练样本；
　　2、统计得到在各类别下各个特征属性的条件概率估计，即$P(a_{1}|y_{1}),...,P(a_{m}|y_{1}),P(a_{1}|y_{2}),.....,P(a_{m}|y_{2}),....,P(a_{m}|y_{n})$;
　　3、各个特征属性相互独立，即有贝叶斯定理如下推到：
　　$P(y_{i}|x)=\frac {P(x|y_{i})P(y_{i})} {P(x)}$，由于${P(x)}$固定，所以step4选取分子最大是的$i$，所以朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
　　朴素贝叶斯法的基本思路：
　　设输入空间$x\in \chi \subseteq R^{n}$，输出空间$y\in \nu ={c_{1},c_{2},...,c_{k}}$，$x$为$\chi$上的随机向量，$Y$是定义在$\nu$上的随机向量，$P(X,Y)$是$X$和$Y$的联合分布分布。数据集$T={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})}$由$P(X,Y)$独立且同分布产生。$P(X,Y)$由学习产生的先验概率分布及条件概率分布求解。
　　step1、$P(Y=c_{k}),k=1,2,...,K$——(1)为先验概率分布，$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(K)}=x^{(K)}|Y=c_{k}),k=1,2,....,K$——(2)为条件概率分布。然而由于条件概率分布$P(X=x|Y=c_{k})$有指数级数量的参数，其估计实际是不可行的，故朴素贝叶斯对条件概率分布做了条件独立性假设：　　$P(X=x|Y=c_{k})=P(X^{(1)}=x^{(1)},X^{(2)}=x^{(2)},...,X^{(K)}=x^{(K)}|Y=c_{k})=\prod_{i=1}^{n} P(X^{(i)}=x^{(i)}|Y=c_{k})$——-(3).
　　step2、朴素贝叶斯分类时，对给定的输入$x$，通过学习得到的模型计算后验概率分布$P(Y=c_{k}|X=x)$，将后验概率最大类作为$x$的类输出：
　　$P(Y=c_{k}|X=x)=\frac {P(Y=c_{k})P(X=x|Y=c_{k})} {\sum_{k=1}^{K}P(Y=c_{k})P(X=x|Y=c_{k})}$——(4)
将式(3)带入式(4)中，可得：
　　$P(Y=c_{k}|X=x)=\frac {P(Y=c_{k})P(X^{(j)}=x^{(j)}|Y=c_{k})} {\sum_{k=1}^{K}P(Y=c_{k})P(X^{(j)}=x^{(j)}|Y=c_{k})}$——-(5)
转化为寻找式(5)的最大后验概率：
$y=f(x)=argmax_{c_{k}}P(Y=c_{k}|X=x)=\frac {P(Y=c_{k})P(X^{(j)}=x^{(j)}|Y=c_{k})} {P(x)}$，将$P(x)$固定，得：$y=argmax_{c_{k}}P(Y=c_{k})\prod_{i=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_{k})$这就是求解的最大后验概率。