![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
贝叶斯论文
文章平均质量分 93
风尘23187
这个作者很懒,什么都没留下…
展开
-
MCMC加速——Gaussian Processes to Speed up Hybrid Monte Carlo for Expensive Bayesian Integrals高斯过程加速HMC
混合蒙特卡洛 (HMC) 通常是计算难以解析的贝叶斯积分的首选方法。然而,这种方法的成功可能需要对(未归一化的)后验及其偏导数进行大量评估。在后验计算成本高昂的情况下,这可能导致 HMC 的计算负载不可接受。我建议对 HMC 所需的大多数计算使用后验(对数)的高斯过程模型。在这个方案中,即使 GP 模型有些不准确,也只需要偶尔评估实际的后验,以确保生成的样本具有完全期望的分布。该方法在 10 维问题上进行了演示,其中 200 次评估足以从后验生成 100 个大致独立的点。因此,所提出的方案允许对具有后验计算原创 2022-06-21 17:37:42 · 611 阅读 · 0 评论 -
低精度加速高斯过程
低精度算术对神经网络的训练产生了变革性的影响,减少了计算、内存和能量需求。 然而,尽管它有希望,但低精度算术在高斯过程 (GP) 训练中几乎没有受到关注,这主要是因为 GP 需要复杂的线性代数例程,这些例程在低精度下不稳定。 我们研究了以半精度训练 GP 时可能发生的不同故障模式。 为了规避这些故障模式,我们提出了一种多方面的方法,包括具有重新正交化、紧凑内核和预处理器的共轭梯度。 我们的方法在各种设置下显着提高了低精度共轭梯度的数值稳定性和实际性能,并将单个 GPU 上 180 万个数据点的运行时间减少到原创 2022-06-21 10:29:43 · 472 阅读 · 0 评论 -
论文笔记Doubly Stochastic Variational Inference for Deep Gaussian Processes深度高斯过程的双重随机变分推理
高斯过程 (GP) 是函数逼近的一个不错的选择,因为它们灵活、对过度拟合具有鲁棒性,并提供经过良好校准的预测不确定性。 深度高斯过程 (DGP) 是 GP 的多层泛化,但事实证明这些模型中的推理具有挑战性。 DGP 模型中现有的推理方法假设近似后验,迫使各层之间独立,并且在实践中效果不佳。 我们提出了一种双随机变分推理算法,该算法不强制层之间的独立性。 通过我们的推理方法,我们证明了 DGP 模型可以有效地用于大小从数百到十亿点的数据。 我们提供了强有力的经验证据,证明我们的 DGP 推理方案在分类和回归的原创 2022-06-10 22:49:19 · 828 阅读 · 0 评论 -
深度高斯过程综述
高斯过程是贝叶斯学习的主要方法之一。 尽管该方法已经成功地应用于许多问题,但它有一些基本的局限性。 文献中的多种方法已经解决了这些限制。 但是,到目前为止,还没有对这些主题进行全面的调查。 大多数现有调查只关注高斯过程的一种特定变体及其衍生物。 本调查详细介绍了使用高斯过程的核心动机、其数学公式、局限性和多年来为解决上述局限性而出现的研究主题。 此外,一个特定的研究领域是深度高斯过程 (DGP),它在过去十年中得到了显着改进。 他们的调查概述了推动这一研究领域前沿的重要出版物。 最后,对未解决的问题和未来工原创 2022-06-08 16:57:36 · 3138 阅读 · 1 评论 -
论文笔记Deep Gaussian Processes深度高斯过程
在本文中,我们介绍了深度高斯过程 (GP) 模型。 深度 GP 是基于高斯过程映射的深度信念网络。 数据被建模为多元 GP 的输出。 然后,该高斯过程的输入由另一个 GP 管理。 单层模型等效于标准 GP 或 GP 潜变量模型 (GP-LVM)。 我们通过近似变分边缘化在模型中进行推理。 这导致我们用于模型选择的模型的边际似然有一个严格的下限(层数和每层节点数)。 深度信念网络通常用于使用随机梯度下降进行优化的相对较大的数据集。 即使数据稀缺,我们的完全贝叶斯处理也允许应用深度模型。 通过我们的变分界选择模原创 2022-06-07 16:02:24 · 2372 阅读 · 1 评论 -
论文笔记 Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonia使用随机梯度哈密顿量蒙特卡罗推理深度高斯过程
深度高斯过程 (DGP) 是高斯过程的层次概括,它将经过良好校准的不确定性估计与多层模型的高度灵活性相结合。 这些模型的最大挑战之一是精确推断是难以处理的。 当前最先进的推理方法变分推理 (VI) 对后验分布采用高斯近似。 这可能是一般多峰后验的潜在较差的单峰近似。 在这项工作中,我们为后验的非高斯性质提供了证据,并且我们应用随机梯度哈密顿蒙特卡罗方法来生成样本。 为了有效地优化超参数,我们引入了移动窗口 MCEM 算法。 与 VI 对应物相比,这会以更低的计算成本产生明显更好的预测。 因此,我们的方法为原创 2022-06-06 10:22:31 · 708 阅读 · 0 评论 -
论文笔记 Deep Gaussian Processes for Calibration of Computer Models 用于校准计算机模型的深度高斯过程
黑盒计算机模型的贝叶斯校准为量化模型参数和预测的不确定性提供了一个既定的框架。传统的贝叶斯校准涉及计算机模型的仿真和使用高斯过程的加性模型差异项;然后使用马尔可夫链蒙特卡罗进行推理。这种校准方法受到高斯过程的可扩展性差以及需要指定合理的协方差函数来处理计算机模型的复杂性和差异的限制。在这项工作中,我们提出了一个新的校准框架,通过将高斯过程组合成深度高斯过程和可扩展的变分推理技术来解决这些挑战。由于这个公式,有可能获得一种灵活的校准方法,该方法很容易在具有自动微分和利用 GPU 类型硬件的开发环境中实现。我们原创 2022-06-04 14:38:49 · 664 阅读 · 0 评论 -
论文笔记 Dependent Gaussian Processes 相关高斯过程
1.摘要高斯过程通常根据它们的协方差函数进行参数化。 然而,这使得处理多个输出变得困难,因为确保协方差矩阵是正定的是有问题的。 另一种表述是将高斯过程视为与平滑内核卷积的白噪声源,并改为对内核进行参数化。 使用它,我们扩展高斯过程以处理多个耦合输出。2.介绍高斯过程回归具有许多理想的特性,例如易于获得和表达预测中的不确定性,通过简单的参数化捕获各种行为的能力,以及自然的贝叶斯解释 [15,4,9]。 正因为如此,它们被建议作为非线性回归 [8, 18] 中监督神经网络的替代品,扩展到处理分类任务 [1原创 2022-06-02 11:16:26 · 291 阅读 · 0 评论 -
论文笔记 Space and space-time modeling using process convolutions使用过程卷积的空间和时空建模
使用过程卷积的空间和时空建模摘要一个连续的空间模型可以利用一个核或点扩散函数,通过卷积一个非常简单的、可能是独立的过程来构建。这种构建空间过程的方法比通过空间协变函数的规范提供了许多优势。 特别是,这个过程卷积规范导致了计算上的简化,并且很容易扩展到简单的静止模型之外。 本文使用过程卷积模型来构建灵活且能够容纳大量数据的空间和时空模型。 考虑了来自环境监测的数据。1. 介绍使用高斯过程对空间数据进行建模是所有地统计分析的共同点。 该领域的一些著名参考文献包括 Matheron (1963)、Jour原创 2022-05-26 14:14:51 · 319 阅读 · 1 评论 -
论文笔记 计算机模型的贝叶斯校准 Bayesian calibration of computer models
计算机模型的贝叶斯校准 Bayesian calibration of computer models摘要我们考虑对使用复杂数学模型进行近似的系统进行预测和不确定性分析。此类模型作为计算机代码实现,通常是通用的,因为通过适当选择模型的一些输入参数,代码可用于预测系统在各种特定应用中的行为。.然而,在任何特定应用中,必要参数的值可能是未知的。在这种情况下,系统在特定环境中的物理观察用于了解未知参数。通过调整参数将模型拟合到观测数据的过程称为校准。校准通常通过特设拟合来实现,并且在校准之后,使用带有拟...原创 2022-05-22 20:39:50 · 2901 阅读 · 0 评论