统计哲学的频率学派和贝叶斯学派

统计哲学的频率学派和贝叶斯学派

flyfish

1. 伏尔泰的“彩票bug”故事：概率论还没成熟时，聪明人是怎么捡钱的？

想象一下，1728年的巴黎，贵族们流行买彩票。当时的彩票规则有个漏洞：奖金池的总金额有时候比所有彩票价格加起来还高。比如，政府发行了1000张彩票，每张卖1块钱，总收入1000块。但奖金池可能设了1200块。这意味着，理论上如果一个人把所有彩票全买了，能净赚200块。
但当时的人对概率论一知半解，没意识到这个漏洞。伏尔泰（没错，就是那个大哲学家）和他一个数学家朋友发现了这个bug。他们拉了一帮人集资，把所有彩票包圆了，果然稳赚不赔。后来巴黎政府发现不对劲，赶紧修改规则，但伏尔泰已经靠这波操作财富自由了，后半辈子专心写书骂人。

在概率论不严谨的时代，谁先摸清门道，谁就能“降维打击”。
概率论最初就是解决现实问题的工具，比如赌博、彩票、保险。数学一开始都是“搞钱”驱动的。

2. 为什么骰子赌博能催生出概率论？

17世纪的欧洲贵族爱赌骰子，但总有人输急眼了，开始问：“两个骰子扔出9点和10点，哪个概率更高？” 听起来像小学数学题，但在当时没人能说清楚。

举个例子：

• 两个骰子的点数组合共有36种可能（比如第一个骰子1点，第二个骰子1点；第一个1点，第二个2点……一直到6点）。
• 和为9的组合：3+6、4+5、5+4、6+3 → 共4种。
• 和为10的组合：4+6、5+5、6+4 → 共3种。
  所以，9点比10点概率高（4/36 vs 3/36）。

但当时的人只会说“我觉得9点更容易”，而拉普拉斯（就是后来搞出“拉普拉斯妖”那位）在1812年写了本书，把这类问题系统化，用数学公式算概率，比如定义概率=有利情况数 / 所有可能情况数。这就是古典概率论的雏形。

概率论一开始就是“数数”的学问，靠穷举所有可能性。
但这种方法有bug：如果情况无限多怎么办？这就逼着数学家把概率论升级成更严谨的体系。

3. 拉普拉斯 vs 柯尔莫哥洛夫：怎么把“不靠谱”的概率变成“数学”？

拉普拉斯（1812年）：

他相当于概率论的“整理师”。把前人的赌博问题、天文观测误差计算（比如预测行星轨道）等零散研究汇总，提出了古典概率的定义，还发明了工具（比如生成函数）。但这时候的概率论——能用，但没严格证明。

柯尔莫哥洛夫（1933年）：

这位苏联数学家直接给概率论装了“钢筋骨架”。他用三条公理把概率论变成了数学的一个分支：

1. 概率非负：任何事件的概率≥0。
2. 全集的概率=1：比如掷骰子，“出现1-6点”的概率是1。
3. 互斥事件概率可加：如果A和B不可能同时发生，那么P(A或B) = P(A)+P(B)。

就像盖楼先打地基，这三条公理让所有概率问题都能用数学推导，不再依赖“我觉得”。
从此，概率论和几何、代数一样，成了严格的数学体系。

4. 贝叶斯 vs 频率学派：吵了200年，到底在争什么？

频率学派：

• 信条：概率是客观的，是长期频率的极限。比如抛硬币正面向上的概率是0.5，因为抛一万次大约有5000次正面。
• 怎么用：做实验、收集数据、算频率。比如临床试验说“药效有95%置信度”，意思是如果重复实验100次，大约95次结果会落在这个区间内。

贝叶斯学派：

• 信条：概率是主观的，是你对某件事的相信程度。比如“明天有80%概率下雨”，是你的个人判断，可以随时用新数据更新。
• 怎么用：先假设一个“先验概率”（比如根据历史数据，某病发病率1%），然后拿到新数据（比如检测阳性），用贝叶斯公式更新成“后验概率”（真实患病的概率可能只有10%）。

举个例子：

• 频率学派会说：“如果所有人都抛硬币100次，大约一半人得到正面次数在40-60次之间。”
• 贝叶斯学派会说：“根据我抛了10次硬币的结果（比如7次正面），我认为正面的概率更可能是70%。”

为什么吵架：

1. 概率是“事实”还是“信念”？

• 频率学派：像科学家，只认客观事实。
  • 例子：抛硬币100次，正面50次，频率学派会说“正面概率是50%”，因为这是实测结果。
  • 概率是长期频率的极限，即某个事件在无限重复试验中出现的频率。
• 贝叶斯学派：像侦探，综合线索不断修正观点。
  • 例子：抛硬币前，你觉得硬币可能有作弊（先验：正面概率60%）。抛10次出现7次正面，贝叶斯会说：“现在我认为正面概率更接近65%”（后验）。
  • 概率是主观信念的量化，即基于现有知识对事件可能性的信任程度。

2. 参数是“固定值”还是“会变的”？

• 频率学派：认为参数是固定靶子，用数据当箭去射它。
  • 比如估计全国平均身高，频率学派会说：“我们抽1000人算个平均数，这个数应该离真实值不远。”
  • 将未知参数（如均值、方差）视为固定但未知的常数，通过数据估计其值。例如，用样本均值估计总体均值。
• 贝叶斯学派：认为参数是个谜团，需要不断用线索（数据）缩小范围。
  • 比如同样估计平均身高，贝叶斯会说：“根据历史数据，我猜平均身高在1.6米到1.8米之间（先验），再根据新样本调整猜测。”
  • 将参数视为随机变量，赋予其先验分布（prior），再通过数据更新为后验分布（posterior）。

3. 结论是“可重复”还是“个性化”？ (推断方法)

• 频率学派：追求普适结论，强调“如果重复实验100次，结果会如何”。
  • 例如：“这种药有效的置信度是95%” → 意思是“如果重复试验100次，大约95次结果会支持药效”。
  • 依赖最大似然估计（MLE）和假设检验（如p值、置信区间）。
  • 结论基于重复抽样理论，例如：“95%置信区间”的含义是，如果重复实验无限次，95%的区间会覆盖真实参数。
• 贝叶斯学派：提供个性化答案，强调“基于现有信息，我认为如何”。
  • 例如：“根据当前数据，我有95%的把握认为药有效” → 这是对单一实验结果的概率判断。
  • 基于贝叶斯定理，将先验信息与数据结合，计算参数的后验分布。
  • 结论是概率陈述，例如：“参数有95%概率落在某区间”（可信区间）。

频率学派（Frequentist）和贝叶斯学派（Bayesian）

1. 概率的定义

   • 频率学派：认为例如，“硬币正面概率0.5”意味着抛无数次后正面占比趋于50%。
   • 贝叶斯学派：认为概率是主观信念的量化，即基于现有知识对事件可能性的信任程度。例如，“明天下雨概率70%”反映个人对气象数据的综合判断。

2. 参数的视角

   • 频率学派：将未知参数（如均值、方差）视为固定但未知的常数，通过数据估计其值。例如，用样本均值估计总体均值。
   • 贝叶斯学派：将参数视为随机变量，赋予其先验分布（prior），再通过数据更新为后验分布（posterior）。例如，假设某病发病率服从某个分布，再根据检测数据修正该分布。

3. 推断方法

   • 频率学派：
     • 依赖最大似然估计（MLE）和假设检验（如p值、置信区间）。
     • 结论基于重复抽样理论，例如：“95%置信区间”的含义是，如果重复实验无限次，95%的区间会覆盖真实参数。
   • 贝叶斯学派：
     • 基于贝叶斯定理，将先验信息与数据结合，计算参数的后验分布。
     • 结论是概率陈述，例如：“参数有95%概率落在某区间”（可信区间）。

比较

维度	频率学派	贝叶斯学派
数学基础	遵守柯尔莫哥洛夫公理	遵守柯尔莫哥洛夫公理
概率解释	客观频率	主观信念
推断方法	基于似然函数，拒绝或接受假设	基于先验和似然的乘积，计算后验分布
典型工具	置信区间、假设检验	可信区间、贝叶斯因子

概率思维帮你区分：

• 该努力的事（高概率能改变的结果，如学习）；
• 该放手的事（低概率或不可控的随机性，如中彩票、他人态度）。