朴素贝叶斯算法

条件概率公式：P(A|B)=P(AB)/P(B)

全概率公式：∑Ai=Ω，则B=B∑Ai，再由概率的有限可加性得，P(B)=P(B∑Ai)=P(∑BAi)

                      -> P(B)=P(∑BAi)=∑P(Ai)P(B|Ai)

贝叶斯公式:B发生条件下Ai发生得概率为：P(Ai|B)=P(AiB)/P(B)=P(Ai)P(B|Ai)/∑P(Ai)P(B|Ai)

 优点：假设了数据集属性之间是相互独立的，因此算法的逻辑性十分简单，并且算法较为稳定

缺点：假设每一特征同等重要，但事实上这个假设在现实世界中并不成立，数据集的属性往往存在联系

贝叶斯公式就是求在目前X发生的情况下，y取不同值的概率大小进行排序，取最大概率的y值

零概率问题：某个事件在观察样本库（训练集）中没有出现过，会被认为该事件的概率结果是0

拉普拉斯平滑(Laplacian smoothing) 是为了解决零概率的问题

理论假设：假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题（实际的使用中也经常使用加 λ（0≤λ≤1）来代替简单加1。如果对N个计数都加上λ，这时分母也要记得加上N*λ）