黎曼流形学习的学习笔记(1):Moser Flow: Divergence-based Generative Modeling on Manifolds(来源：NIPS 2021 oral)

亮点：

1. 使用Moser Flow (MF)  相比于其他连续标准化流 (CNF)不需要在训练过程解常微分方程 (ODE)，因此训练速度相对较快；

2. 在1的基础上，证明了在一定的前提下，MF可以泛化任意的流形，并且这是流模型 (包括CNF在内)第一次在一般的曲面上 (文中指3D兔子，泛指除了球，椭圆这一类基础曲面)进行了采样生成实验。

前提知识：

1) Change of variable formula:

 概率密度的转换

2）Euclidean data：

所谓的欧氏（欧几里德）数据指的是类似于图片(grids)，文本(sequence)，同样Non-Euclidean Data指的是高维不规则(无穷规则)数据，例如复数域(多了一个虚轴)，流形(黎曼几何)。

来自NIPS的reviews (节选翻译)：

Moser Flow: Divergence-based Generative Modeling on Manifolds | OpenReviewIntroducing a novel generative model on manifolds based on a classical flow by Moser.https://openreview.net/forum?id=qGvMv3undNJ

PC和5个审稿人(78877)：

• ”reduces computational cost to train CNFs by no longer needing to solve an ODE.“——不再需要解ODE训练CNF，减少了计算成本。
• “likelihood computation does not require evaluating an ODE, constrast to regular CNFs.“——同上，似然估计也是训练的一部分。
• “Probably universal density estimator under suitable assumptions.“——泛化能力有保证。
• “scalability limitations to higher dimensional problems.“——高维问题上难以应用。
• ”regularization of the negative part of the density in moser flows introduces an additional hyperparameter for tuning. worries that the regularization parameter might lead to unstable training of chosen wrongly.“——损失函数里有一个需要调，可能训练不稳定。
• ”Moser flow is not guaranteed to induce a valid probability density.“——MF不能保证生成有效的概率密度。（负值的影响嘛？）
• ......

TBD