贝叶斯回归

1. 贝叶斯推断的定义

简单来说，贝叶斯推断 (Bayesian inference) 就是结合“经验 (先验)”和“实践 (样本)”，得出“结论 (后
验)”。

2. 什么是先验？

贝叶斯推断把模型参数看作随机变量。在得到样本之前，根据主观经验和既有知识给出未知参数的概率分布叫做先验分布 (prior)。。(由因推出果)

• 先验概率是指在实验或采样之前，根据以往经验和分析得到的概率。
• 这是独立于具体实验的知识，通常不依赖于实际观测数据。
• 例如，数学中的公式、重言式以及纯粹理性的演绎推理都属于先验知识1。

3. 什么是后验？

获得样本数据后，根据贝叶斯定理，基于给定的样本数据先计算似然分布 (likelihood)，然后模型参数的后验分布 (posterior)。（由果推出因)。

• 后验概率是指在某件事已经发生的情况下，想要计算这件事发生的原因是由某个因素引起的概率。
• 它依赖于实际观测数据或经验证据。
• 例如，大多数科学领域中的知识都是后验知识，因为它们基于实际观测结果得出1。
  

4. 贝叶斯收缩

先验的影响力很大，MAP 的结果向先验均值“收缩”。这种效果常被称作贝叶斯收缩 (Bayes shrinkage)。