博士论文 | 2023年Stanford | 非线性潜变量模型中的推理和学习

本文多图，建议阅读8分钟
本论文开发了拟合潜变量模型的技术，其中变量之间的依赖关系由非线性函数参数化。

建模的核心目标是帮助我们了解周围的世界，但我们希望建模的现象往往只能间接观察到。例如，我们经常通过黑洞对周围物体的引力效应来探测黑洞。未观察到的现象通常使用与观测变量统计相关但从未直接观察到的潜变量来建模。这些潜变量模型是一种强大的形式化方法，可以实现数据的简约和可解释表示，但很难使用，尤其是当变量之间的关系复杂时。

本论文开发了拟合潜变量模型的技术，其中变量之间的依赖关系由非线性函数（例如深度神经网络或非线性微分方程）参数化。非线性依赖关系使分析方法变得难以处理，本论文的主要目的是扩展蒙特卡罗文献中的采样算法以用于深度生成模型。

特别是，本论文重点关注对神经电压轨迹或语音音频等序列数据的建模。首先，我介绍了 FIVO，这是一种使用过滤序列蒙特卡罗拟合非线性序列潜变量模型的方法，并用它来改进语音音频和钢琴乐谱模型。然后，我开发了一种基于平滑的 FIVO 扩展，称为 SIXO，它成功地拟合了神经膜电位的生物物理模型。接下来，我介绍了 NAS-X，这是 SIXO 的扩展，可用于离散潜变量。最后，我开发了使用嵌入式采样算法拟合模型的方法，并与基于能量的建模建立了联系。

这些方法为非线性潜变量模型中的推理和学习建立了新的标准。例如，在神经膜电位的 Hodgkin-Huxley 模型中，NAS-X 和 SIXO 的推理对数似然比以前的方法提高了 32 倍。改进的推理性能可带来参数学习的下游收益，并能够基于具有数百个参数的非线性微分方程拟合潜变量模型。总的来说，这篇论文扩展了蒙特卡罗算法，使强大的模型能够解决序列建模中的难题。

论文题目：Inference and learning in nonlinear latent variable models

作者：Dieterich Lawson

类型：2023年博士论文

学校：Stanford University （美国斯坦福大学）

下载链接：

链接: 

https://pan.baidu.com/s/1w6UcVtJg40bzUE1tnxi45w?pwd=mge1

硕博论文汇总：

链接: 

https://pan.baidu.com/s/1Gv3R58pgUfHPu4PYFhCSJw?pwd=svp5

向后 DRE 扭曲架构。蓝色部分显示的是循环向后编码，此处表示为 et，在扫描之前计算。此计算将在所有粒子之间共享。在时间 t，每个粒子的扭曲值是通过在下一个时间步长 et+1 进行向后编码、将其与粒子连接起来、然后将其传递给 MLP（以紫色显示）来计算的。因此，扭曲复杂度在时间和粒子数量上都是线性的。

合成示例的目标密度和学习密度。TRS、SNIS 和 HIS 的可视化是通过绘制样本来近似的。

编辑：黄继彦