复盘：统计学派（频率学派）跟贝叶斯学派（贝叶斯公式、朴素贝叶斯）的定义和区别，奥卡姆剃刀和最大似然跟谁更接近

复盘：统计学派（频率学派）跟贝叶斯学派（贝叶斯公式、朴素贝叶斯）的定义和区别，奥卡姆剃刀和最大似然跟谁更接近？

提示：系列被面试官问的问题，我自己当时不会，所以下来自己复盘一下，认真学习和总结，以应对未来更多的可能性

关于互联网大厂的笔试面试，都是需要细心准备的
（1）自己的科研经历，科研内容，学习的相关领域知识，要熟悉熟透了
（2）自己的实习经历，做了什么内容，学习的领域知识，要熟悉熟透了
（3）除了科研，实习之外，平时自己关注的前沿知识，也不要落下，仔细了解，面试官很在乎你是否喜欢追进新科技，跟进创新概念和技术
（4）准备数据结构与算法，有笔试的大厂，第一关就是手撕代码做算法题
面试中，实际上，你准备数据结构与算法时以备不时之需，有足够的信心面对面试官可能问的算法题，很多情况下你的科研经历和实习经历足够跟面试官聊了，就不需要考你算法了。但很多大厂就会面试问你算法题，因此不论为了笔试面试，数据结构与算法必须熟悉熟透了
秋招提前批好多大厂不考笔试，直接面试，能否免笔试去面试，那就看你简历实力有多强了。

---

面试官：了解统计学派跟贝叶斯学派吗？ 你觉得最大似然更接近哪个？

经典统计学派又叫做频率学派，所研究的对象是能大量重复的随机现象，
不是这类随机现象不能用频率的方法去确定有关事件的概率。

例如掷硬币试验就是可以大量重复的随机现象，结果包括正面和反面。
通过进行大量的掷硬币试验，发现正、反面朝上的概率分别稳定在0.5左右。

但是对于有一些随机现象，不能重复或者不能大量重复，
例如中心气象台预报：“明日（譬如2020年3月18日）降水的概率是0.8”，这里的概率就不能作出频率的解释，
因为2020年3月16日只有一次，不可能大量的重复出现，
但明日是否下雨是随机现象，这里的0.8是气象专家对“明日降水”的一种看法或一种信念，
信不信由你，但大多数市民对这句话是理解其含义的，明日降水的可能性较大，叫人们多作预防为好。

可见没有频率解释的概率是存在的，不会使人们为难。

为了解释概率不仅可以由大量可重复的随机现象确定，
还可以由人们**以往的丰富经验（先验信息）**对某个随机现象的发生可能性给出评估来确定，贝叶斯学派因此兴起。

**贝叶斯学派认为：**一个事件的概率是人们根据经验对该事件发生可能性所给出的个人信念，这种概率称为主观概率。
主观概率反映了人们对某种随机现象的认识，
尽管带有主观性（这也是不被频率学派统计学家承认的原因），
但是在人类发展的历史长河中，在面对重大决策时，我们利用自身经验作出了许多正确的重大历史决策。

因此，我们不应忽略这一略带主观性的信息，应该将其运用到统计推断中。

---

啥是频率学派和贝叶斯学派？

咱们来一起讨论一下，在今天的机器学习当中，用一个非常经典算法，叫做贝叶斯算法，
那这个贝叶斯算法其实是源于这个贝叶斯这个人，
也就是说有一个英国的数学家叫做贝叶斯，
他为了解决一个叫做逆概的问题，就是一个逆向概率的问题，

一会儿，咱们再来说这个逆向概率，它是一个什么样的问题，
他是为了解决这样一个问题，然后写了一篇文章，

但是在那个年代，你即便能是发明出来一种非常牛逼的东西，
不见得这个东西，就能够被大家认可，

这个就是跟我们之前上高中的时候经常写的一些作文儿，
我在写作文的时候，总愿意引用那个哥盖尼，这个科学家哥盖尼说，在宇宙当中，太阳才是中心，地球不是中心，
当时是不是不为大家看好，这个东西也没流行起来，直到他死后，大概个60多年之后

大家才知道，这个日心说确实是一个正确的，德白尼这个科学家确实要提出来一种非常好的东西，
但是在当时，可能就不被大家所认可，

贝叶斯这个算法其实也是一样的，

他也是生前解决了这个问题，但是呢在他生，
就是在他生命有限时间之内，这个东西一直没被大家看好，
直到他死后，很长时间，他的一个朋友把他这篇文章拿出来之后，
大家才觉得贝因斯这个算法确实能够帮我们解决实际当中很多的问题。

然后关于这个贝叶斯，咱们就先说到这里，这个贝因斯他就是长上面这个样子的，

然后，咱们来主要说一下贝叶斯算法。

首先，咱们就要回归到这样的一个问题，就是我们这个贝斯算法，它要解决的一个问题是什么？

在这里先大家说两个东西，一个叫做正向概率，一个叫做逆向概率。

这个正向概率，它比较好理解，就是说，假如说，现在我有个袋子，
然后这个袋子里有两种球，一种是白球，一种是黑球，
然后球的数量你也是知道的，就是说，咱们现在有N个白球M个黑球，
然后你拿手进去摸一把，那我问你，你摸出来一个球，它是黑求的概率有多大？

这个问题特别特别简单，就是用黑头数量除以总共数量不就可以了吗？
这样我就得出来了，咱们手进去抓一下，得出来一个黑头概率是多大的。

那现在咱们要问的一个问题，就是不是一个正向概率了。
因为正向概率，就是你按照一种正常思路也能求解出来。

但是，假如说，现在我把问题进行一个转换，假如说，
咱们现在事先是并不知道我们袋子里白球和黑球的一个比例的。

但是，我们现在闭着眼睛，去摸出一个，或者说摸出来几个球，
然后，我观察出来一下，我摸出来球的一个颜色之后，
袋子里边儿黑白球的一个比例是什么样的？

也就是说咱们现在一个问题变了一下，原来，咱们是知道袋子当中所有球的一个分布，
那现在球的一个比例我不知道了，
而是要通过我的一个一个观测数去去求一下，
咱们这个袋子当中球的一个观测的一个比例是什么样的，

那大家现在就可以想一想，在生活当中，是不是我们有些地方需要用到这个正向概率，
有些地方也得需要用到这个逆向概率。

比如说，在很多问题的时候，我们都是不知道事先这个问题的一个分布，
而是通过观测观察一下这个问题，
它的一些实际的实践，然后来想一想，哎呀，这个问题里边儿的分布大概是什么样子的，

咱们在现实世界当中，有很多个问题，都是本身是不具备确定性的，
也就是说，咱们现在人类的观察能力是有限的，

比如说这个M和N，是一个无穷大的时候，
你并不知道在自然界当中会有多少个白球，有多少个黑球，
假如说咱们现在不放在袋子里了，一共有多少N1共有多少个黑球，这两个值，你是没办法去估算出来的，
但是，你可以看什么，你可以到这个自然界当中，你去随便，找这个龙珠，
然后是看一下自然界当中有很多个龙珠，它是白的，第二龙珠看又是白的，第三个是黑的，
那我现在就可以通过我的一个观察来去看一下，
咱们自然界当中，这个球，它的一个分布的比例是什么样的

路上看见穿长裤的人，它是男生还是女生？概率怎么求？

咱们用这样一个例子，来给大家形象的说一下，怎么样用这个贝叶斯算法来解决我们的一个实际的问题，
相当于是我们公式的一个推导了，

假设说，现在有一个学校，这个学校当中，有两类人，
也只能有两类人，一类是男生，一类是女生。

我们的一个男生的比例，是占到了60%，女生是占到了40%，
那现在，光有男生女生这个问题太简单了，我们还有一个事儿，
男生女生都要穿裤子，咱们男生，就是总是穿这样一个长裤，
但是女生不太一样，女生就是其中，比如说有100个女生，那么其中50个可能是穿长裤的，50个可能穿裙子，
也就是说，穿长裤，和穿裙子的比例是一半儿一半儿的，
咱们来说一下正向概率还有逆向概率，分别表达一个什么事儿，

这个正向概率，就是说现在，当我随机的选择了一个学生之后，
我要看一下他穿长裤的概率和穿裙子的概率，分别是多大这个事儿，
就是我的一个正向概率的一个事儿。

那逆向概率什么意思逆向概率就是说，现在，好比说是迎面走来了一个穿长裤的学生，
所以说找着一个人就是观测到了一个数据，这个数据是一个穿长裤的，
但是，我只能够看见他是否是穿长裤，并不知道他的一个性别，
那现在我就要让你推断出来他是女生的一个概率是多大，
咱们现在要解决的就是这样一个逆向概率的问题，

比如说这样一个例子当中来了，一个穿长裤的学生，
但是，我不知道他的性别，怎么办？
我们拿这个杯子算法来进行一个推导，看一下这个逆向概率，该怎么样进行一个求解的，
那现在我做了一个假设，就好比说，我们的学校当中，总共的人数是有u个，
用u来表示着我们的一个总人数，那现在，
比如说我想求就是穿长裤的一个男生是有多少个穿长裤，

男生咱们就得想了，总共人数是有u个，
那穿长裤男生是不是我得先把男生找出来，
就是我们这个男生的概率是60%的，
然后，现在我在所有人数当中找出来的所有男的，
但是我要求的是男生当中穿长裤的，有多少个男生当中，穿长裤的，那是一个条件概率了，
那咱们条件概率，是不是刚开始已经给了这样一个已知条件，男生总是穿长裤的，
所以说，对于我这样一个条件概率来说，我找到一个男生，并且他是穿长裤的概率是多大，是100%的，
所以说现在，我的一个p boy的一个概率知道了，

所以说，我就可以得出来，咱们的一个穿长裤的男生的一个比例是有多少了，

然后，同样，是不是说我也可以算出来，
我穿长裤的一个女生是等于多少的总人数，U乘上一个女生的概率，这里是40%，
再乘上一个女生当中穿长裤的数量1/2，

咱们再来进行一个思考，那现在穿长裤，男生穿长裤的人数，女生穿长裤的人数我都可以算出来了，
咱们再来回归到这个问题，我要算什么，
我要算是找出来一个穿长裤的学生，他是女生的概率有多大，
那咱们接着来看

在这里，我要求解的一个问题，就是穿长裤的里边儿，它有多少个女生，

那所以说，就是穿长裤里边儿还是女生这个概率，就是我刚才这个问题吗
那现在，我是不是能够算出来穿长裤的一个总人数，咱们刚才算了，
穿长裤里边儿是男的穿长裤里边儿是女的都算完了，给它加在一起，不就是你穿长裤的一个总人数儿了吗？

所以说，我现在一个穿长裤的总人数可以算出来，
那在我们这个问题当中**，穿长裤的里边儿里边儿有多少个女生**，
那咱们的问题变了，咱们来看我刚才什么，刚才是一个女生穿长裤，
那现在我的问题却是我要求解的是，你穿了一个长裤，但是你是一个女生的一个概率是多大，

那对于这样一个问题怎么求解？
对于这个问题来说，首先是不是说，我得算出来，
咱们的一个就是女生穿长裤的人数，
在这里怎么算女生穿长裤人数是不是总人数乘上女生的个数，再乘上我的一个女生穿长裤的个数？
这是我女生穿长裤的一个总的人数多大，
并且让她比上我的一个穿长裤的一个总数，我就能够得出来，
穿长裤这个中女生的一个占比是多大了，

那怎么算？
其实很简单，根据我们刚才的一个计算公式，
分母就是我们穿长裤一个总数，
那分子就是我们现在算的一个女生当中穿长裤的个数。

所以说，当我们想求一个是穿长裤里边儿有多少女生，
我们就可以把这个问题进行一个稍微的转换，

给它，转换成一个咱们的贝因斯公式，
分子和分母当中的u，我可以进行一个约分，

抽象出来，即贝叶斯算法的一个公式，是长什么样子的，给大家来看一下这个公式，

就是说，当你想求一个逆向概率，比如说在B的条件下，A的一个情况是什么的时候，
我们可以把这个问题进行一个转换。

通常情况下，就是说这个问题不见得出是那么好求的，
我们可以把这个东西进行一个转换，
就是在B的条件下，A发生的概率

可以给它转换成一个在a的条件下，B发生的概率。

通常在我们的实际当中就是，这种B的情况下，A发生的概率不太好求，
但是。A发生的情况下B发生的概率，这个却比较好求，

那pa和PB，其实也是已知的，那这个时候，就是说在我们的贝叶斯公式当中，
我们可以给它进行一个转换，把一个比较难求的值，转换成一个比较好求的值。

一会儿会给大家举两个例子，咱们来看一下这个贝叶斯公式，我们该怎么样进行一个应用，

这个公式看起来很简单，我们刚才是通过这样一个男生女生，穿裤子的一个比例，
把这个公式实际的算一下，就是由我们刚才一个计算的过程，
推导出来了我们的一个贝叶斯公式，它是长什么样子的

拼写检查器，拼写tha，但实际上它应该是the的概率怎么求？

给大家举这样一个例子，这个例子，是一个拼写纠正的一个例子，
拼写纠正，什么意思，

现在我们这个问题来了，就是说用户输入了一个不在字典的中文单词，
就是比如说他想输一个单词，正常的情况下是一个the，
然后他书写错了，写成了tha了，
那这个时候可能tha不是我们字典当中的一个单词，
我们要猜一下，他写了一个tha，是不是说他可能要写这个the，
写错了，那我们能不能进行一个拼写纠正，把这个tha改成这个the，

我们现在要进行一个预测，比如说它写成了一个tha之后，
我们就得想，哎呀，这个家伙到底要输入单词是什么？

有可能是the，也有可能是还有什么单词，
我想想the，还有THat，或者是than有可能，
我们要想一下，他到底是想输入啥？

所以说，我们要进行一个拼写的纠正，
就是用户输入单词我们要预测一下，
什么样的一个单词，它的一个概率最大。

我先给他转换成一个数学公式，就是在他俩输入这样一个单词的时时候，他想要的一个结果是什么。

假设，我们用户实际的输入单词，是一个D，就代表着我的一个语调库了，就是代表着咱们的一系列的观察数据，
那对于我这个观察数据，比如说一个D来了之后，是不是我们有一些猜测，
比如说刚才我说THa，既有可能就是预测完是THe，也有可能是than，
有多种预测结果儿，

那现在比如说我有猜测e是在我D这个情况下，它这是th1，
可能表示的是一个TH2，
可能表示的是tH3，
它有可能又是一个其他值。

反正就是我有很多种猜测，能够把这个猜测统一就写成P的一个在D的情况下预测为H的一个概率。

那现在这就是我要求解的一个结果。

我要求一下就是什么样的这个概率最大。

比如说H1的概率越大，那我说这个词应该给它改成 the
h2概率大我说改改成这个than，
H3大改成H3
H4大改成H4。

这是我要求解的一个结果，

所以说，对于当前任务，我们要进行改变，
我们要求的是在我的一个输入情况下，什么样的一个值，它的可能性越大，
那这回，就是对当前这个任务来说，不太好求，大家有什么求解思路吗？

好像有点难想，但是，根据我贝叶斯，刚才给大家给出来这个公式，
我们可以对原始的问题进行一个转换，转换成什么，
就按照我们的公式，刚才咱们是不是给出来这样一个公式，
那我把咱们刚现在的这个公式拿过来，这个公式拿过来我们来看。

转换成这样一种形式，PH是什么？
PH表达意思，就好比说现在猜测的一个词，它出现对概率，
比如说猜测词有the，还有这样一个than，
那PH就表示着在我们的一个字典当中，比如说字典，
它是一个非常大的一个语料库，这个语料库当中，
我就可以看一下这个the这个词出现的一个占比，
比如说，咱们的有一个语料库，
当中是有一些都是在重复的，有1万个字，

在这个1万个词当中，比如说the这个词出现了5000字，
那这个p the你说，就是说当前的这个PH1是5000比上1万，

那这个than，比如说than只出现了100次，
那这个PH2是100再除以1万。

所以说，我们现在有一个PH，咱们现在有个东西叫做一个先验概率，
先验概率的意思，就是说咱们现在拿到一个数据了之后，
我其实能够知道数据当中哪一个词的一个就是出现的频率，
或者说出现的一个次数，这个东西我事先都可以统计好，
所以说说我管它，叫做一个先验的概率，

在我先验的概率当中，是不是PH1和PH2，它的一个结果是不一样的，
在这里就有一个PH1大于一个PH2，这样一个结果。

所以说，我说咱们的一个PH，它是一个先验的概率，

然后，让它乘上什么，让它乘上一个，在H的情况下给它写成了D的概率，

这个条件概率它的意思就是说，现在你输进来了一个词，
比如说你想输the，你输成了tha的概率有多大，

想than又输成了tha的概率有多大，

想出一个H3又输成了一个tha的概率有多大。

这个就是说你想输入一个词，给他输错的一个概率是多大的

PD一会给它进行约掉，

反正你看看输入D后，它应该是h的概率是多少？h1,2,3谁大就应该就错为谁

最大似然概率和奥卡姆剃刀，跟谁跟接近？频率学派还是贝叶斯学派？

奥卡姆剃刀的意思，就是说，他是做了这么一件事儿，
他认为先验概率就是较大的模型会有较大的优势。

比如说，咱们现在在做一件事儿，就是在做这个拼音检测，
它就是认为了你什么样的一个值PH值越大，那它给这个PH值，一个权重是更高的，
认为你PH较大的一个模型，它是有较大的一个优势，

这个就是奥卡姆剃刀，它这个翻译过来，就是一个最直观的解释

实际上，你也看见了，最大似然跟贝叶斯公式要求的东西一样，就是逆向概率
而奥卡姆剃刀求的是正向概率，和统计学派更近。

接受到一封邮件D，它是垃圾邮件的概率怎么求？

再给大家举个例子，这个例子，它是一个垃圾邮件的一个过滤问题，

就是现在我手里有一封，有，我要判断一下，它是一个垃圾邮件，还是一个正常邮件，

咱们先来说一下这个数据组成就是

我用D来表示当前这封邮件，
然后，这个D，它是就是一个邮件里边是由一些话来组成的，
假设说，我就说当前这个D里边，由N个单词来组成的，
N个单词组成了我的一个整体，

然后，我用两个符号H加来表示一个垃圾邮件，
H减来表示着我的一个正常邮件，

那现在，我就要算一个东西了，
就是一个邮件，我要做一个分类，一个二分类，
分成H加H减，

那这个数学怎么表达，这是一个条件概率。

个邮件儿我可以算它是一个H加，就是一个垃圾邮件儿的概率
还可以算拿到这个邮件儿它是一个就是正常邮件儿的概率，

那这个我还是可以给它转换成我们当前的贝叶斯公式的这种形式，

所以个转换原始的问题不太好算，
那我给它转换一下，转换成我一个可解决的问题等于什么？

等于PH加这块儿上面是PH加
下面是PH减
PH加PH减相当于什么？先验

比如说我现在统计了一下，在每1万封邮件儿当中，可能是正常邮件儿大概是9000个
垃圾邮件儿是1000个，

那这个时候是不是我可以用这样一个比例，就把我的一个先验概率求出来了。

所以说先验概率是一个可求的，

然后，然后下面儿，就是我的一个就是一个词，

比如说H加表示当前是垃圾邮件儿，就是当前是垃圾邮件儿的情况下，这个邮件儿是由哪些词来组成的，
当前邮件儿是一个正常情况下，它是由这些词来组成的，

我们来看，当我给定一个D之后，D里边儿词就确定了，
那这个就是这个条件概率的意思，当它是一个垃圾邮件儿的情况下有里边是这些词，
当它是一个正常邮件的情况下，并且里边是D这些词，

D当中，我们不是说包含N个单词，然后第一第二第三一直到一个DN，
里边儿恰好出现了第一，第二第三一直到DN这些词，
也就是说，现在一个垃圾邮件，垃圾文儿当中出现的跟我这封邮件儿是一模一样的，
一个邮件儿的概率是多大，我去
大家可以想象，这个概率是大还是低，是非常低。

比如说你现在说一个东西是异常邮件儿，那你要说它是异常邮件儿，
你必须要说，它里边儿的每一个词出现都跟我这封垃圾邮件儿，
就是跟我这个邮件是一模一样的，我才能说它是个垃圾邮件吗？

咱们反过来这么说，就是一封邮件，你说它是垃圾邮件，
一定要是它跟我里边的一个词是一模一样的，我才能说它是垃圾吗？

不能，只要有一个大致相同的，我们就可以说它是一个垃圾。

所以说，在现在这个问题上，我们可以进行一个扩展，
就是原始问题，比较严苛，就是一个垃圾邮件，里边恰好是我这些词，
现在呢给它进行扩展，给它展开，就是我的一封垃圾邮件，
首先我出现了这个词，这是我的第一个条件概率，

然后，在乘上把它展开，就是，现在一个垃圾邮件，然后，
并且垃圾邮件当中，我第一个词是第一，
然后，第二个词恰好是第二的一个概率，
那下面接着展开我这个垃圾邮件当中，包含了第一，第二两个词，
然后下一个词又是第三的一个概率，
然后这个东西就不断的往下乘下去，直到乘到我们DNA为止，

怎么求解？这个问题，

我们就要把原始的一个贝叶斯问题转换成一个朴素贝叶斯的问题。

朴素贝叶斯，用最简单的一句话给大家来形容他做了一些什么事儿。

朴素贝叶斯，是相当于是把贝叶斯模型做了一个简化，他要做的就是假设？
我们之间特征是一个独立的，没有就是互不影响
和贝叶斯非常简单，他只是在原始的贝叶斯问题上做了这样一个假设，
假设我特征之间是相互独立的，并且是没有影响的，
那对于我当前这个任务来说，就是我的一个第一和第二完全是没关系的，
第二和第三我的一个也是完全没关系的，

所以说，对于当前的一个任务，我可以给它进行一个转换，

比如说我们来看之前我算了一个，就是在我垃圾邮件的情况下，
然后出现第一第一这个词，这是我第一步，
然后，第二步，我是不是成了一个在我是垃圾情况下，
然后并且出现了第一个词，下面是第二这个词的一个情况，那我刚才是不是说了，
在咱们普通不言词里假设了，第一和第二是完全无关的，
那也就是说我第二这个词出不出现跟你第一是完全没有关系的，
那所以说我可以把上市进行一个化简，就是原来是在这个垃圾邮件，
并且第一出现的情况，下下次会出现第二次。

假设完了之后，我就直接把第一去掉了，
所以说我乘什么乘上的，就是在我这个垃圾邮件情况下又出现了第二这个词，
再乘什么垃圾邮件里边有第三个词，
垃圾邮件里边有第四个词，
乘上这些值，而它们之间的一个相互的关系，

我说，它们是没有影响的，所以说做了这样一个特征之间独立，
互不影响的一个假设，我们就把原始的一个贝叶斯问题转换成了
咱们通常叫的一个朴素贝叶斯的一个问题，

如何，贝叶斯够强大吧

就那么一个简单的公式，你只需要观察一定的先验，就能大概推出后验概率是多少？

所谓先验就是经验呗

你很清楚黄河在夏季会爆发洪水，这就是先验
根据先验，洪水暴发的话，大概率就是夏天，而不是冬天

done！！！

记住贝叶斯公式，面试时候，知道它是求逆向概率后验概率，而不是正向概率，非统计学派
贝叶斯公式求的就是最大似然

---

总结

提示：重要经验：

1）记住贝叶斯公式，面试时候，知道它是求逆向概率后验概率，而不是正向概率，非统计学派
贝叶斯公式求的就是最大似然
3）笔试求AC，可以不考虑空间复杂度，但是面试既要考虑时间复杂度最优，也要考虑空间复杂度最优。