贝叶斯学派与频率学派

频率学派

对于频率学派，其认为我们所观察到的某些现象其背后的分布是确定的，是一直不变的，我们所需要的就是不断的去接近他。就好像西方人认为上帝是存在的，我们可以通过修行的方式来不断的接近上帝，看清上帝的真面目。因此对于频率学派来说，其通过大量的独立重复实验，观察某种事件出现的频率来预估其出现的概率。针对模型$P(x;\theta)$来说，该学派认为模型的参数是存在且固定的，我们要做的就是求出让$P(x;\theta)$值最大的参数$\theta$（我们认为这样的参数更接近于客观存在的那个真是的参数），即通过不断的调整参数来使得通过该模型在该参数下我们所观察到的现象出现的概率最大。
通过上面的描述我们可以知道频率学派是针对似然来进行建模的，即其更care的是似然$P(x|\theta)$，即在怎样的参数$\theta$下才能使得我们所观察到的现象出现的概率最大。因此针对这样的关注重点，我们通常使用极大似然法来求解模型参数。
对于基于这种思想的方法，我们可以发现其很容易过拟合，因为他的目标是尽最大努力来重现当前观察到的数据，这也是这种方法最大的问题之所在。因此如何解决过拟合问题是基于频率思想方法必然要考虑的。通常我们会使用以下两种方法来缓解过拟合问题：

• 使用L1/L2正则化，即在目标函数中加入正则项；
• 使用交叉验证方法

贝叶斯学派

对于贝叶斯学派，其不再相信上帝的存在，即不再相信任何的事件发生的背后都拥有一个固定不变的分布，其更倾向于认为世界上所有的事情都是不确定的，而这种不确定型更多是由于观察者自身所储备的先验知识所带来的。因此对于贝叶斯学派，其通常会基于观察到的事件来假设一个先验分布$P(y)$，然后利用贝叶斯公式

$$P(y|x) = \frac{P(x,y)}{P(x)} = \frac{P(y)P(x|y)}{P(x)} = \frac{P(y)P(x|y)}{\sum_{y\in Y}P(y)P(x|y)}$$ 来求得后验分布。而后验分布我们又可以认为是在得到新的知识 x <script type="math/tex" id="MathJax-Element-938">x</script>后对先验分布的一个修正。因此对于贝叶斯学派，其认为对于事物的观察是一个不断学习不断修正的过程。
对于贝叶斯学派最受诟病的就是先验分布的确定，因为通常来说先验分布的选择是基于数学运算的便利性方面来选择的而不是基于真正的先验知识来选择，而选择的先验分布是否接近于真实分布又很大程度上决定了模型的好坏，因此在这一点上常常会被频率学派的学者所抨击。