看完让你眼前一黑的【频率学派】和【贝叶斯学派】之争_频率学派和贝叶斯学派的争论-CSDN博客

本文链接：https://blog.csdn.net/m0_54713489/article/details/142526680

叠三级甲

文章总结了笔者对频率学派观点和贝叶斯学派观点在哲学上的一些思考，可能存在过度解读或理解不到位的地方，请多多担待！

更深层次的思考（24.10.7）

频率学派和贝叶斯学派在理念上的争端，往小了说，可以是机器学习领域是否给损失函数加上正则化项，因为正则化通常可以看作是在损失函数中加入了某种先验知识，这更接近贝叶斯学派的思想，即通过某种形式的先验约束来避免过拟合。而频率学派则更倾向于让数据自我驱动，尽可能少地依赖外部假设。而往大了说，可以上升到唯心主义和唯物主义的哲学讨论。

频率学派强调概率是某种客观存在的，他们认为概率分布是固定的，但是不可观测，就好像是世界的底层运行规律，它独立于任何个体的主观认知，我们通过不断观察和实验来揭示这个世界的规律。他们认为所有的观测和现象只是这些底层规律在现实世界的投射和影响。换句话说，概率是事件在无限次重复实验中出现的频率趋向的一个数值，那个他们心中的真理，这也是大数定理的核心观点：因为现实世界是受这些法则所约束的，所以当观察数量足够多的时候，这些现象所展现的统计规律就反应了世界底层的运行规则。就好像信息论中，由渐近等分性推导的典型集的概念，某一系列事件的观察结果有很多种可能，然而实际观察的结果往往却落在几个极小的组合内。当然，渐近等分性本身就是大数定理的拓展。频率学派的观点是直观的，符合人们直觉的，更容易接受的。

而贝叶斯学派则提供了一个更加主观的概率解释，他们的核心思想是概率代表信念，而信念可以通过新的证据不断更新。换句话说，概率依赖于观察者的知识和经验，这有点像唯心主义，认为世界是通过人的认知和意识来“构建”的。贝叶斯学派假设我们所有的知识都建立在我们已有的信念基础上，并通过不断更新来接近“真实的世界”。他们只相信他们的所见所闻，他们相信上帝是会掷骰子的。类比量子力学的观点，贝叶斯学派更倾向于认为世界是充满不确定性的，我们只能根据已有的信息去估计和修正那些不确定性。某一次观察的结果只是概率的坍缩，而实际的概率分布本身还满足其他的概率分布。人们根据自己的经验，给出某个概率的先验分布，再通过观察到的事实来修正这个最初的信念，得到后验概率分布。

频率学派

频率学派认为，一个事件的概率分布（相关参数 $\theta$ ）是确定但未知的，我们所观察到的某个样本来自于这个确定的概率分布 $f(y_i|\theta)$ 。因为这是一个概率分布，所以样本是随机的。而观察到某个样本集合的概率 $p(\mathbf{y}|\theta)$ ，也就是该样本集合的似然函数为： $L(\theta|\mathbf{y})\equiv p(\mathbf{y}|\theta)=\prod_{i=1}^{n}f(y_i|\theta)$ 。频率学派的观点是基于长期频率的，他们认为随着试验次数趋于无穷大，事件的相对频率将趋于真实的概率值。这种收敛性是由大数定理保证的。换言之，他们认为观察到的样本集合属于该概率分布下的必然结果，所以通过找到使得观察到的样本集合最有可能出现的参数值来估计概率分布（相关参数 $\theta$ ）。

贝叶斯学派

而贝叶斯学派认为概率分布（相关参数 $\theta$ ）是不是固定的，而是满足某些概率分布的，因为只通过观察到的数据样本并不能确定参数的真实值，换言之，同一组样本可能对应很多不同的分布。他们通过先假设样本服从的概率分布（相关参数 $\theta$ ），然后通过观察到的样本来更新对参数的信念或不确定性。在贝叶斯学派看来，观察到的样本是已经发生的确定事件，通过计算后验分布的方法，修正先验概率分布，进而进行贝叶斯预测。而后验概率的计算涉及到贝叶斯估计，包括蒙特卡洛、拉普拉斯、重要比值、变分推断等一些列方法。

【举个例子】：假设我们投掷一枚硬币正面朝上的概率是 $\theta$ ，这是我们想要推断的参数。我们已经知道投掷硬币是一个伯努利分布。现在我们观察到一组样本 $\mathbf{y}=\{1,1,1,1,1,1,1,0,0,0\}$ ，其中正面朝上 $(X = 1)$ 出现7次，背面朝上 $(X = 0)$ 出现3次。

假设我们对 $\theta$ 的先验分布是均匀分布，即 $P(\theta)=Uniform(0,1)$ ，这意味着我们不偏向认为硬币是偏向正面还是偏向反面。均匀分布可以看作是Beta分布的特例，即 $\theta\sim Beta(1,1)$ 。Beta 分布是伯努利分布的共轭先验分布，这意味着在更新先验时，后验分布仍然是 Beta 分布的形式。

给定参数和观察到的样本，我们可以写出样本的似然函数： $P(\mathbf{y}|\theta)=\theta^7(1-\theta)^3$ 。

根据贝叶斯定理，后验分布 $P(\theta|\mathbf{y})=\frac{P(\mathbf{y}|\theta)P(\theta)}{P(\mathbf{y})}$ ，带入先验分布 $P(\theta)\sim Beta(1,1)$ 和似然函数，我们得到： $P(\theta|\mathbf{y})\propto \theta^7(1-\theta)^3\cdot \theta^{1-1}(1-\theta)^{1-1}=\theta^7(1-\theta)^3$ ，因此后验分布是： $\theta|\mathbf{y}\sim Beta(8,4)$ 。