朴素贝叶斯算法

朴素贝叶斯的例子：https://blog.csdn.net/AMDS123/article/details/70173402

朴素贝叶斯的概念：https://blog.csdn.net/syoya1997/article/details/78618885

贝叶斯学派和频率学派的例子：https://blog.csdn.net/lanchunhui/article/details/50369860

贝叶斯学派和频率学派的辩论：https://blog.csdn.net/u012116229/article/details/24636001

 

我准备综合这四篇博客来谈谈朴素贝叶斯算法。

一. 首先，从概念层面来看贝叶斯公式。

                                               

 

P(H) 为先验概率，也就是以前固有的知识；而P(H|E)是我们想知道的后验概率，也就是进行观察后得到的知识。这里，我们把概率解释为事情发生的可能性。这个公式成立的条件：1. P(E)大于0，即观察结果有效；2.联合概率定义中交集的无序性。

二. 然后，从例子来看怎么用贝叶斯公式实现推断，即熵减过程。下面是一个例子：

“假设我们有两个装满了饼干的碗，第一个碗里有10个巧克力饼干和30个普通饼干，第二个碗里两种饼干都有20个。我们随机挑一个碗，再在碗里随机挑饼干。那么我们挑到的普通饼干来自一号碗的概率有多少？”

解答过程：设挑到的碗的编号为H，从碗里取出的饼干类型为E，现在需要计算 . 计算过程使用贝叶斯公式和全概率公式即可。我们使用先验概率P(H=1)=0.5 。 

三. 再，看一个机器学习问题。给定数据如下：

现在给我们的问题是，如果一对男女朋友，男生向女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

这是监督学习中一个典型的分类问题，使用概率建模转为数学问题，就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！

在计算概率中，先利用贝叶斯公式

再进行下去会发现联合概率不容易从数据中统计频率（通过极大似然估计）得到，一方面这四种特点并存的数据可能缺失，另一方面，在大数据前提下即使不缺失统计起来也非常费时。如果有以下朴素的假设：

“各特点之间没有相互关联，即特征独立。”

联合概率就可以表达为单一概率的乘积。所以，朴素贝叶斯算法的朴素假设很大程度上是从计算方面考虑的。（是吗？？？嗯，仅仅给一个实例，进行分类还看不出来，但是如果有大量的实例需要分类，没有朴素假设就会有非常多的重复计算。）于是，得到

四. 最后，从贝叶斯学派和频率学派的角度来看问题。 贝叶斯学派和频率学派在对待参数的看法上是不一样的，贝叶斯学派把参数视为随机变量，而频率学派把参数视为确定性变量。待续……