概念 | 生成模型基础--贝叶斯推断

来源：RISPER药研
本文约1500字，建议阅读5分钟
贝叶斯推断使我们能够结合已有信息更有逻辑地进行概率估计。

贝叶斯方法

Risper

在概率论与统计学中，贝叶斯定理（Bayes' theorem）是一种用于计算事件发生概率的重要工具，其基于与该事件相关的先验知识（prior knowledge）进行推断。举例而言，考虑与年龄相关的癌症发病率，贝叶斯方法允许我们结合患癌症人群的年龄分布等先验信息来评估某个人患癌症的概率。相比不考虑先验信息，贝叶斯推断使我们能够结合已有信息更有逻辑地进行概率估计。

贝叶斯定理/公式如下式所示：

其中P(A)为“先验概率”（Prior probability），也就是在不知道B事件的前提下，我们对A事件概率的一个主观判断(判断A事件发生的概率)。比如，明天我要进行一场考试（还未发生），我判断我得100的概率为99%（先验概率）。

P(A|B)称为“后验概率”（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。也就是说，现在已经考完了（事件发生），此时得100得概率为55%（后验概率）。

回到贝叶斯公式可以发现，从先验概率P(A)到后验概率P(A|B)的转变，是将先验概率乘了一个因子P(B|A)/P(B)。这个因子似乎能够影响事件所发生的理论概率。

所以可以将P(B|A)/P(B)当作调整因子。通过这个因子，也就是B事件信息所带来的主观判断的调整，使我们的判断能够更接近真实概率。其中P(B|A)为“可能性”(likelihood)，P(B)为“证据”(evidence)。事实上，考完了试之后判断自己的得分与最后结果相差不会太大，这其中就是贝叶斯定理的思想。

---

上面的讲述都在纠结于“概率”一词，其实这只是一个简要的说法，其实其真正代表的为分布，也就是概率的分布。比如我可能100分的卷子，我们考试得分在0-100的范围内都是存在理论可能性的，这个事件是独立的。但是得分的概率分布是不同的，例如对于我考80分的概率可能为50%，90分的概率为30%，91分为10%........每一个分数（独立事件）都有其对应的概率，我们可以在图上画出一个折线图（偷懒不画了）。这个就是我们主观推测的事件发生的分布，经过新的证据加入，这个分布会随之调整，试图去接近真实的分布。这个时候我们可以根据折线图很容易的去计算这个离散概率分布的均值（期望）和方差。

PS：

均值（期望）的计算公式为：

E(X) = Σ (x_i * p(x_i))

方差的计算公式为：

Var(X) = Σ [(x_i - E(X))^2 * p(x_i)]

---

让我们再进一步，考虑将离散化的得分连续化，也就是在0-100这个区间内的任何数都可取值，于是折现图上会得到平滑的曲线（想象一下）。得到了曲线之后计算的公式就变为了

均值（期望）的计算公式为：

E(X) = ∫(x * f(x)) dx

方差的计算公式为：

Var(X) = ∫((x - E(X))^2 * f(x)) dx

可以发现，公式由加和变成了积分，积分的计算是很难求得，此外我们上述讨论的仅仅是在一维下（得分0-100），当还要考虑其他维度得特征时（比如考试时候得心情，当时的天气等等等），精确计算（求解析解）会变得极其复杂。于是需要发展近似的方法去求解这个分布。比如利用正态分布的叠加性去拟合到真实分布。

示意图中黄色面积为真实的分布，比较难求，于是用两个高斯叠加去近似估计。当估计的误差很小的时候，我们只需要计算叠合的高斯分布的均值和方差就可以获得分布的近似估计值。

Extra：其实这些有助于理解统计热力学中蛋白质构象的系综概念，两者概念比较相似。把蛋白质的构象选择看成集合，我们能够观测到的都是蛋白质概率大的构象，蛋白质系统的宏观性质是系综平均的结果。系综分布是描述系统中各个微观状态出现概率的函数，有了这个分布我们就可以通过一个叫配分函数的东西建立起微观状态分布与宏观性质的桥梁，进而计算系统的宏观性质出来，这个宏观性质简单理解为期望值。

编辑：文婧