应用数学与机器学习基础 - 贝叶斯统计篇

序言

贝叶斯统计起源于18世纪的英国数学家托马斯·贝叶斯，其核心在于利用已有的信息（先验信息）和新的观测数据（后验信息）来更新对某个事件或参数的信念。贝叶斯统计与传统的频率统计有着显著的不同，它强调对未知参数的随机性假设，并将未知参数视为随机变量。这一思想在现代数据分析、机器学习和人工智能等领域有着广泛的应用。

贝叶斯统计（Bayesian Statistics）

• 频率统计（Frequentist Statistics）方法和基于估计单一值$\theta$的方法（MLE），然后基于该估计作所有的预测。另一种方法是做预测时会考虑所有可能$\theta$。后者属于贝叶斯统计（Bayesian Statistics）的范畴。

• 频率派与贝叶斯派（frequentist vs. Bayesians）

  • 统计范畴：
    • 频率派视角是真实参数$\theta$是未知的定值，而点估计$\hat{\theta }$是考虑数据集上函数（可以看作是随机的）的随机变量。
    • 贝叶斯视角是用贝叶斯概率反映知识状态的确定性程度。数据集能够直接观测到，因此不是随机的。另一方面，真实参数$\theta$是未知或不确定的，因此可以表示成随机变量。
  • 处理估计$\theta$不确定性的方法：
    • 频率派采用的方法是：评估方差。估计的方差评估了 观测数据重新从观测数据中采样后，估计可能如何变化。
    • 贝叶斯派采用的方法是：积分。这往往会防止过拟合。积分当然是概率法则的应用，使用贝叶斯方法容易验证。
    • 频率派机器学习基于相当特别的决定构建了一个估计，将数据集里的所有信息归纳到一个单独的点估计。

• 贝叶斯统计（Bayesian Statistics）

  • 在观察到数据前，我们将$\theta$的已知知识表示成先验概率分布（prior probability distribution），记作$p(\theta )$（有时简单地称为”先验“）。
  • 一般而言，我们会选择一个相当宽泛的先验分布（即高熵的），反映在观测到任何数据前参数$\theta$的高度不确定性。
    • 例如：我们可能假设先验$\theta$在有限区间中均匀分布。许多先验偏好于”更简单“的解决方法（如小幅度的系数，或者是接近常数的函数）。
  • 现在假设有一组数据样本 { x ( 1 ) , … , x ( m ) } \{ x^{(1)},\dots,x^{(m)} \} {x(1),…,x(m)}，然后通过贝叶斯法则结合数据似然$p(x^{(i)},\dots ,x^{(m)}\mid \theta )$和先验，我们可以恢复数据对真实参数$\theta$的影响：
    $p(\theta \mid x^{(1)},\dots ,x^{(m)})=\frac{p(x^{(i)},\dots ,x^{(m)}\mid \theta )p(\theta )}{p(x^{(i)},\dots ,x^{(m)})}$
  • 在贝叶斯估计通常使用的情况下，先验开始是相对均匀的分布或高熵的高斯分布，观测数据通常会使后验的熵下降，并集中在参数的几个可能性很高的值。
  • 相对于最大似然估计，贝叶斯估计有两个重要区别：
    • 第一，不像最大似然方法预测时使用$\theta$的点估计，贝叶斯方法预测$\theta$的全分布。
      • 例如：在观测到$m$个样本后，下一个数据样本，$x^{(m+1)}$的预测分布如下：
        $p(x^{(m+1)}\mid x^{(1)},\dots ,x^{(m)})=\int p(x^{(m+1)}\mid \theta )p(\theta \mid x^{(1)},\dots ,x^{(m)})d\theta$
      • 这里，具有正概率密度的$\theta$的每个值有助于下一个样本的预测，其中贡献由后验密度本身加权。在观测到数据集 { x ( 1 ) , … , x ( m ) } \{ x^{(1)},\dots,x^{(m)} \} {x(1),…,x(m)}之后，如果我们仍然非常不确定$\theta$的值，那么这个确定性会直接包含在我们所做的任何预测中。
    • 第二，贝叶斯方法和最大似然方法的第二个最大区别是：贝叶斯先验分布造成的。先验能够影响概率质量密度朝参数空间中偏好先验的区域偏移。实践中，先验通常表现为偏好更简单或更光滑的模型。对贝叶斯方法的批判认为先验是人为主观判断影响预测的来源。
    • 当训练数据很有限时，贝叶斯方法通常泛化得更好，但是当训练样本数目很大时，通常会有很高的计算代价。
  • 实例：贝叶斯线性回归：
    • 我们使用贝叶斯估计方法学习线性回归参数。
    • 在线性回归中，我们学习从输入向量$\mathbf{x}\in {\mathbb{R}}^n$预测变量$y\in \mathbb{R}$的映射。该预测参数化为向量$\mathbf{w}\in {\mathbb{R}}^n$：$\hat{y}={\mathbf{w}}^{\top }\mathbf{x}$
      • 假设给定一组$m$个训练样本（${\mathbf{X}}^{(\text{train})},{\mathbf{y}}^{(\text{train})}$）
      • 我们可以表示整个训练集对$y$的预测为：${\hat{y}}^{(\text{train})}={\mathbf{X}}^{(\text{train})}\mathbf{w}$
      • 表示为${\mathbf{y}}^{(\text{train})}$上的高斯条件分布，我们得到：
        $\{\begin{array}{l}\begin{array}{l}p({\mathbf{y}}^{(\text{train})}\mid {\mathbf{X}}^{(\text{train})},\mathbf{w})=\mathcal{N}({\mathbf{y}}^{(\text{train})};{\mathbf{X}}^{(\text{train})}\mathbf{w},\mathbf{I})\\ \\ \propto e^{-\frac{1}{2}({\mathbf{y}}^{(\text{train})}-{\mathbf{X}}^{(\text{train})}\mathbf{w}{)}^{\top }({\mathbf{y}}^{(\text{train})}-{\mathbf{X}}^{(\text{train})}\mathbf{w})}\end{array}\end{array}$

        • 其中，根据标准的$\text{MSE}$公式假设$y$上的高斯方差为1。

        • 在下文中，为减少符号负担，我们将（${\mathbf{X}}^{(\text{train})},{\mathbf{y}}^{(\text{train})}$）简单表示为（$\mathbf{X},\mathbf{y}$）。

        • 确定模型参数向量$\mathbf{w}$的后验分布，我们首先需要指定一个先验分布。

        • 先验应该反映我们对这些参数取值的信念。虽然有时很难或很不自然将我们的先验信念表示为模型的参数，在实践中我们通常假设一个相当广泛的分布来表示$\theta$的高度不确定性。

        • 实数值参数通常使用高斯作为先验分布：$\{\begin{array}{l}\begin{array}{l}p(\mathbf{w})=\mathcal{N}(\mathbf{w};{\mathbf{\mu }}_0,{\mathbf{\Lambda }}_0)\\ \\ \propto e^{\left(-\frac{1}{2}(\mathbf{w}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Lambda }}_0^{-1}(\mathbf{w}-{\mathbf{\mu }}_0)\right)}\end{array}\end{array}$

          • 说明：其中${\mathbf{\mu }}_0$和${\mathbf{\Lambda }}_0$是先验分布的均值和协方差矩阵。

        • 确定好先验后，我们现在可以继续确定模型参数的后验分布。
          $\{\begin{array}{l}\begin{array}{l}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})\propto p(\mathbf{y}\mid \mathbf{X},\mathbf{w})p(\mathbf{w})\\ \\ \propto e^{\left(-\frac{1}{2}(\mathbf{y}-\mathbf{Xw}{)}^{\top }(\mathbf{y}-\mathbf{Xw})\right)}{e}^{\left(-\frac{1}{2}(\mathbf{w}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Lambda }}_0^{-1}(\mathbf{w}-{\mathbf{\mu }}_0)\right)}\\ \\ \propto e^{\left(\frac{1}{2}(-2{\mathbf{y}}^{\top }\mathbf{Xw}+{\mathbf{w}}^{\top }{\mathbf{X}}^{\top }\mathbf{Xw}+{\mathbf{w}}^{\top }{\mathbf{\Lambda }}_0^{-1}\mathbf{w}-2{\mathbf{\mu }}_0^{\top }{\mathbf{\Lambda }}_0^{-1}\mathbf{w})\right)}\end{array}\end{array}$

        • 现在我们定义${\mathbf{\Lambda }}_m=({\mathbf{X}}^{\top }\mathbf{X}+{\mathbf{\Lambda }}_0^{-1})$和${\mathbf{\mu }}_m={\mathbf{\Lambda }}_m({\mathbf{X}}^{\top }\mathbf{y}+{\mathbf{\Lambda }}_0^{-1}{\mathbf{\mu }}_0)$。使用这些新的变量，我们发现后验可改写为高斯分布：
          $\{\begin{array}{l}\begin{array}{l}p(\mathbf{w}\mid \mathbf{X},\mathbf{y})\propto e^{\left(-\frac{1}{2}(\mathbf{w}-{\mathbf{\mu }}_m{)}^{\top }{\mathbf{\Lambda }}_m^{-1}(\mathbf{w}-{\mathbf{\mu }}_m)+\frac{1}{2}{\mathbf{\mu }}_m^{\top }{\mathbf{\Lambda }}_m^{-1}{\mathbf{\mu }}_m\right)}\\ \\ \propto e^{\left(-\frac{1}{2}(\mathbf{w}-{\mathbf{\mu }}_m{)}^{\top }{\mathbf{\Lambda }}_m^{-1}(\mathbf{w}-{\mathbf{\mu }}_m)\right)}\end{array}\end{array}$

        • 所有不包括的参数向量$\mathbf{w}$的项都已经被删去了；它们意味着分布的积分必须归一这一个事实。

        • 检查此后验分布可以让我们获得贝叶斯推断效果的一些直觉。大多数情况下，我们设置${\mathbf{\mu }}_0=0$。如果我们设置${\mathbf{\Lambda }}_0=\frac{1}{\alpha }\mathbf{I}$，那么${\mu }_m$对$\mathbf{w}$的估计就和频率派带权重衰减惩罚$\alpha {\mathbf{w}}^{\top }\mathbf{w}$的线性回归的估计一样。一个区别是若$\alpha$设为0，则贝叶斯估计是未定义的，即不能初始化贝叶斯学习过程为一个无限宽的$\mathbf{w}$先验。更重要的区别是贝叶斯估计会给出一个协方差矩阵，表示$\mathbf{w}$所有不同值的可能范围，而不仅是估计${\mu }_m$。

• 最大后验（MAP）估计（Maximum A Posteriori (MAP) Estimation）

  • 虽然使用完整的贝叶斯后验分布进行参数$\theta$预测时非常合理的，但仍常常希望能够进行单点估计。
  • 希望点估计的一个常见原因是，对于非常有趣的模型而言，大部分涉及到贝叶斯后验的操作是非常棘手的，点估计提供了一个可解的近似。并非简单地回归到最大似然学习，我们仍然可以通过先验影响点估计的选择而获取贝叶斯方法的优点。
  • 一种能够做到这一点的合理方式是选择最大后验（Maximum A Posteriori, MAP）点估计。MAP估计选择后验概率最大的点（或在$\theta$是连续值的更常见情况下，概率密度最大的点）：
    ${\theta }_{\text{MAP}}=\underset{\theta }{\mathrm{argmax}}p(\theta \mid \mathbf{x})=\underset{\theta }{\mathrm{argmax}}\log p(\mathbf{x}\mid \theta )+\log p(\theta )$
  • 我们可以认出上面公式右边的$\log p(\mathbf{x}\mid \theta )$对应着标准的对数似然项，$\log p(\theta )$对应着先验分布。
  • 例如：考虑具有高斯先验权重$\mathbf{w}$的线性回归模型。如果先验是$\mathcal{N}(\mathbf{w};0,\frac{1}{\lambda }{I}^2)$，那么上式的对数先验项正比于熟悉的权重衰减惩罚$\lambda {\mathbf{w}}^{\top }\mathbf{w}$，加上一个不依赖$\mathbf{w}$也不会影响学习过程的项。因此，具有高斯先验权重的最大后验贝叶斯推断对应着权重衰减。
  • 正如全贝叶斯推断，$\text{MAP}$贝叶斯推断具有训练数据没有的，先验带来的信息利用优势。该附加信息有助于减少最大后验点估计的方差（相比于$\text{ML}$估计（最大似然估计））。然而，这个优点的代价是增加了偏差。
  • 许多正则化估计方法，例如权重衰减正则化的最大似然学习，可以被解释为贝叶斯推断的$\text{MAP}$近似。这个解释产生与正则化时加到目标函数的附加项对应着$\log p(\theta )$。并非所有的正则化惩罚都对应于贝叶斯推断。
  • 例如，有些正则化项可能不是一个概率分布的对数。还有一些正则化项依赖于数据，当然也不会是一个先验概率分布。
  • $\text{MAP}$贝叶斯推断提供了一个直观的方法去设计复杂但可解释的正则化项。例如，更复杂的惩罚项可以通过混合高斯作为先验得到，而不是一个单独的高斯分布。

总结

贝叶斯统计是一种基于先验信息和后验数据来更新信念的统计方法。它强调对未知参数的随机性假设，并通过计算后验分布来推断未知参数的不确定性。贝叶斯统计提供了丰富的后验分析工具，如点估计、区间估计和模型比较等，使得在复杂的现实问题中能够进行更为准确的推断。尽管贝叶斯统计在理论上可能不如频率统计“客观”，但在实际应用中，其灵活的建模能力和强大的推断能力使得它成为数据分析领域的重要工具之一。随着计算能力的提升和人工智能的兴起，贝叶斯统计的应用前景将更加广阔。

查阅往期内容

• 应用数学与机器学习基础 - 最大拟然估计篇