机器学习|朴素贝叶斯算法（三）-深入理解朴素贝叶斯原理

2019独角兽企业重金招聘Python工程师标准>>>

机器学习|朴素贝叶斯算法（一）-贝叶斯简介及应用
机器学习|朴素贝叶斯算法（二）-用sklearn实践贝叶斯

[机器学习|朴素贝叶斯算法（三）-深入理解朴素贝叶斯原理](https://yq.aliyun.com/articles/411329?spm=a2c4e.11153940.blogcont408869.15.26b9b6ce7AUPEi)

在机器学习|朴素贝叶斯算法（一）-贝叶斯简介及应用中通过计算穿长裤中女生的概率解释了贝叶斯算法。这里在提供另外一种思路：它给我们提供的是一种根据数据集DD的内容变化更新假设概率HH的方法。

这种理解在《贝叶斯思维：统计建模的python学习法》中定义为“历时诠释”，“历时”意味着某些事情随着时间而发生，即是假设的概率随着看到的新数据而变化。

根据贝叶斯定理：

P(H|D)=P(H)P(D|H)P(D)P(H|D)=P(H)P(D|H)P(D)

每一项的意思如下（结合第一篇女生穿长裤问题分析）：

HH---女生，DD---穿长裤

$P\left(H\right)$称为先验概率，即在得到新数据前某一假设的概率
$P\left(H|D\right)$称为后验概率，即在看到新数据后，我们要计算的该假设的概率
$P\left(D|H\right)$是该假设下得到这一数据的概率，称为似然
$P\left(D\right)$是在任何假设下得到这一数据的概率，称为标准化常量

有些情况下，我们可以基于现有背景进行得知先验概率。比如在女生穿长裤问题中，我们就能知道女孩在学校所占人数的比例（概率）是多少，即使不知道具体的比例，我们也可以根据学校的性质（工科学校或者其他）来大概假设出女孩的概率。
**
在其他情况下，先验概率是偏主观性的。这也是频率学派提出的对贝叶斯学派的批评之一。因为对某一先验概率，由于使用不同背景信息作出判断，或者因为针对相同的前提条件作出了不同解读**。

似然是贝叶斯计算中最容易知道的部分，比如女孩中穿长裤的概率。

标准化常量被定义为在所有的假设条件下这一数据出现的概率，因为考虑的是最一般的情况，所以不容易确定这个常量在具体应用场合的现实意义。因此我们可以通过全概率公式来求得。啰嗦一下：

定理 设试验E的样本空间为S，A为E的事件，B1,B2,...,BnB1,B2,...,Bn为S的一个划分，且Pleft(Biright)>0(i=1,2,3,....n)Pleft(Biright)>0(i=1,2,3,....n),则

Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)+

...+Pleft(A|Bnright)Pleft(Bnright)....+Pleft(A|Bnright)Pleft(Bnright).

称为全概率公式.

比如，穿长裤概率： P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)P(Boy)×P(Pants|Boy)+U×P(Girl)×P(Pants|Girl)。

既然提到了全概率公式，为了进一步理解贝叶斯公式，这里给出另一种贝叶斯公式的写法：

P(Bi|A)=P(A|Bi)P(Bi)P(A)P(Bi|A)=P(A|Bi)P(Bi)P(A)

=P(A|Bi)P(Bi)∑nj=1P(A|Bj)P(Bj),i=1,2,...,n.=P(A|Bi)P(Bi)∑j=1nP(A|Bj)P(Bj),i=1,2,...,n.

上式中，样本空间OmegaOmega中的一个完备事件群leftB1,B2,...,BnrightleftB1,B2,...,Bnright，设AA为OmegaOmega中的一个事件，且Pleft(Biright)>0,i=1,2,3,....,n,Pleft(Aright)>0Pleft(Biright)>0,i=1,2,3,....,n,Pleft(Aright)>0。推敲一下这个公式的意义：从形式上看这个公式不过是条件概率定义与全概率公式的简单推论。但是之所以著名的原因在于它的哲学意义。先看Pleft(B1right),Pleft(B2right),...,Pleft(Bnright)Pleft(B1right),Pleft(B2right),...,Pleft(Bnright),这是在没有进一步信息（不知道AA发生）时，人们对事件B1,B2,...,BnB1,B2,...,Bn发生可能性大小的认识（先验信息），在有了新信息（知道A发生）后，人们对事件B1,B2,...,BnB1,B2,...,Bn发生可能性大小新的认识体现在Pleft(B1|Aright),Pleft(B2|Aright),...,Pleft(Bn|Aright).Pleft(B1|Aright),Pleft(B2|Aright),...,Pleft(Bn|Aright).

如果我们把事件A看成“结果”，把诸事件B1,B2,...,BnB1,B2,...,Bn看成导致这一结果的可能“原因”，则可以形象地把全概率公式看成由“原因”推“结果”。还是举那个例子，事件AA——穿长裤，事件B1B1——女生，事件B2B2——男生，则Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right)Pleft(Aright)=Pleft(A|B1right)Pleft(B1right)+Pleft(A|B2right)Pleft(B2right),这里男生女生就是穿裤子这个“结果”的“原因”。而贝叶斯公式正好相反，其作用在于由“结果”推“原因”。现在有了结果A,在导致A发生的众多原因中，到底 是哪个原因导致了AA发生（或者说：到底是哪个原因导致AA发生的可能性最大）？如果这里理解有点障碍，可以看一下我在 机器学习|朴素贝叶斯算法（二）-用sklearn实践贝叶斯中详细讨论过的概率，似然，后验概率的关系。

好了，关于朴素贝叶斯算法目前只学习了这么多，之后进行实践操作的时候还会再补充，希望能有所收获╰(￣ω￣ｏ)

阅读原文http://click.aliyun.com/m/41276/

转载于:https://my.oschina.net/u/3637633/blog/1615511