统计学习方法——第四章：朴素贝叶斯

朴素贝叶斯

（1）该算法的理论核心是贝叶斯定理；
（2）它是基于条件独立性假设这个强假设之下的，这也是该算法为什么称为“朴素”的原因。
目的：学习联合概率分布P（Y/X）
所以要先学习先验概率P（Y）和后验概率P（X/Y）我们要使用贝叶斯公式

后验概率（X/Y）：

为什么是这么多个参数？
这里的参数其实指的是P（Xi/Yi）=u的对应值u，因为我们没有其他办法获取，只能测量，即从样本中数出P（Xi/Yi）的发生概率
在这里加入条件独立性假设，即假设X条件独立会牺牲分类准确性

这种情况下，参数个数为K(S1+S2+S3-----SN)，优化明显

计算P（Y/X）

我们要计算给定X情况下y=yk的概率

带入上式：这里直接将P(Y=yl/X)表示成f(X)，只是书写方式由