一文读懂贝叶斯推理问题：MCMC方法和变分推断

全文共6415字，预计学习时长20分钟或更长

图片来源：pexels.com/@lum3n-com-44775

贝叶斯推理（Bayesian inference）是统计学中的一个重要问题，也是许多机器学习方法中经常遇到的问题。例如，用于分类的高斯混合模型或用于主题建模的潜在狄利克雷分配（Latent Dirichlet Allocation，简称LDA）模型等概率图模型都需要在拟合数据时解决这一问题。

同时，由于模型设置（假设、维度……）不同，贝叶斯推理问题有时会很难解决。在解决大型问题时，精确的方案往往需要繁重的计算，要完成这些难以处理的计算，必须采用一些近似技术，并构建快速且有可扩展性的系统。

本文将讨论两种可用于解决贝叶斯推理问题的主要方法：基于采样的马尔可夫链蒙特卡罗(Markov Chain Monte Carlo，简称MCMC)方法和基于近似的变分推理(Variational Inference，简称VI)方法。

 

本文第一部分将讨论贝叶斯推理问题，并介绍几个机器学习应用的经典案例，当然，这些案例中会出现贝叶斯推理问题。第二部分将全面介绍用于解决该问题的MCMC技术，并详细介绍其中的两种算法：Metropolis-Hasting算法和吉布斯采样（Gibbs Sampling）算法。最后，第三部分将介绍变分推断，并了解如何通过优化参数化数族分布得到近似解。

注意，以a(∞)为标记的小节数学专业性非常强，跳过也不会影响对本文的整体理解。还要注意，本文中的p(.)可以用来表示概率、概率密度或概率分布，具体含义取决于上下文。

贝叶斯推理问题

这一部分提出了贝叶斯推理问题，讨论了一些计算困难，并给出了LDA算法的例子。LDA算法是一种具体的主题建模机器学习技术，能够反映贝叶斯推理问题。

统计推断旨在根据可观察到的事物来了解不可观察到的事物。即，统计推断是基于一个总体或一些样本中的某些观察变量（通常是影响）得出结论的过程，例如关于总体或样本中某些潜在变量（通常是原因）的准时估计、置信区间或区间估计等。

而贝叶斯推理则是从贝叶斯的角度产生统计推断的过程。简而言之，贝叶斯范式是一种统计/概率范式，在这种范式中，每次记录新的观测数据时就会更新由概率分布建模的先验知识，观测数据的不确定性则由另一个概率分布建模。支配贝叶斯范式的整个思想嵌入在所谓的贝叶斯定理中，该定理表达了更新知识（“后验”）、已知知识（“先验”）以及来自观察的知识（“可能性”）之间的关系。

一个经典的例子是用贝叶斯推理进行参数估计。假设一个模型中数据x是根据未知参数θ的概率分布生成的，并且有关于参数θ的先验知识，可以用概率分布p(θ)来表示。那么，当观察到数据x时，我们可以使用贝叶斯定理更新关于该参数的先验知识，如下所示：

贝叶斯定理应用于给定观测数据的参数推断的说明。

计算困难

根据贝叶斯定理，后验分布的计算需要三个条件：先验分布、可能性和证据。前两个条件很容易理解，因为它们是假设模型的一部分（在许多情况下，先验分布和可能性是显而易见的）。然而，第三个条件，即归一化因子，需要如下计算：

虽然在低维中，这个积分可以较容易地计算出来，但在高维中它会变得难以处理。在上述案例中，对后验分布进行精确计算是不可行的，必须使用一些近似技术（例如平均计算）来获得后验分布。

贝叶斯推理问题还可能会产生一些其他的计算困难。例如，当某些变量是离散的时候会产生组合学问题。马尔可夫链蒙特卡罗（Markov Chain Monte Carlo，简称MCMC）和变分推理（Variational Inference，简称VI）是最常用于解决这些问题的两种方法。下文将描述这两种方法，尤其关注“归一化因子问题”，但是应该记住，这些方法也可用于与贝叶斯推理相关的其他计算困难。

为了让接下来的章节更易于理解，可以观察到，由于x应该是给定的，因此可以作为参数，那么，θ的概率分布则被定义为归一化因子

在描述MCMC和VI两个部分之前，先来看一个具体例子，了解在机器学习LDA中存在的贝叶斯推理问题。

举例

贝叶斯推理问题通常出现在需要假设概率图