贝叶斯学习方法：几种方法介绍

1 拉普拉斯还原-轻松贝叶斯深度学习

深度学习的贝叶斯公式已被证明具有令人信服的理论性质，并提供实用的功能优势，例如改进预测不确定性量化和模型选择。拉普拉斯近似(LA)是一个经典的，并且可以说是最简单的近似家族，用于深度神经网络的棘手后验。然而，尽管它很简单，但LA并不像变分贝叶斯(variational Bayes)或深度集成(deep ensembles)那样受欢迎。这可能是由于假设LA由于涉及Hessian计算而昂贵，难以实现，或者产生较差的结果。在这项工作中，我们表明这些是误解:我们(i)审查了LA的变体范围，包括成本开销最小的版本;(ii)引入“拉普拉斯”，一个易于使用的PyTorch软件库，提供对所有主要LA风格的用户友好访问;(iii)通过广泛的实验证明，LA在性能方面与更流行的替代方案具有竞争力，同时在计算成本方面表现出色。我们希望这项工作将成为LA在实际深度学习中更广泛采用的催化剂，包括在目前通常不考虑贝叶斯方法的领域。

作者：Daxberger E, Kristiadi A, Immer A, et al. 
论文：Laplace redux-effortless bayesian deep learning. 
出版：Advances in Neural Information Processing Systems, 2021.

关注微信公众号，获取更多资讯

2 具有归一化流的变分推理

近似后验分布的选择是变分推理中的核心问题之一。变分推理的大多数应用采用简单的后验近似族，以便进行有效的推理，重点放在平均场或其他简单的结构化近似上。这一限制对使用变分方法进行推断的质量有重大影响。我们介绍了一种新的方法来指定灵活的，任意复杂的和可扩展的近似后验分布。我们的近似是通过规范化流程构建的分布，通过应用一系列可逆变换，将简单的初始密度转换为更复杂的密度，直到达到所需的复杂性水平。我们使用这种归一化流的观点来发展有限和无穷小流的类别，并提供了构建丰富后验近似的统一观点。我们证明了具有更好地匹配真实后验的后验的理论优势，结合平摊变分方法的可扩展性，在变分推理的性能和适用性方面提供了明显的改进。

作者：Rezende D, Mohamed S.
论文：Variational inference with normalizing flows. 
出版：International conference on machine learning. PMLR, 2015.

3 基于条件归一化流的多元概率时间序列预测

时间序列预测通常是科学和工程问题的基础，并使决策成为可能。随着数据集规模的不断增加，扩大预测规模的一个简单解决方案是假设相互作用的时间序列之间的独立性。然而，对统计依赖性进行建模可以提高准确性，并支持对交互效果的分析。深度学习方法非常适合这个问题，但多元模型通常假设一个简单的参数分布，不能扩展到高维。在这项工作中，我们通过自回归深度学习模型对时间序列的多变量时间动态进行建模，其中数据分布由条件归一化流表示。这种组合保留了自回归模型的力量，例如外推到未来的良好性能，具有流作为通用高维分布模型的灵活性，同时保持计算上的可处理性。我们表明，它在具有数千个相互作用的时间序列的许多真实数据集上，比标准度量的最新技术有所改进。

作者：Rasul K, Sheikh A S, Schuster I, et al. 
论文：Multivariate probabilistic time series forecasting via conditioned normalizing flows.
出版： arXiv: 2002.06103.