亮点:
1. 使用Moser Flow (MF) 相比于其他连续标准化流 (CNF)不需要在训练过程解常微分方程 (ODE),因此训练速度相对较快;
2. 在1的基础上,证明了在一定的前提下,MF可以泛化任意的流形,并且这是流模型 (包括CNF在内)第一次在一般的曲面上 (文中指3D兔子,泛指除了球,椭圆这一类基础曲面)进行了采样生成实验。
前提知识:
1) Change of variable formula:
概率密度的转换
2)Euclidean data:
所谓的欧氏(欧几里德)数据指的是类似于图片(grids),文本(sequence),同样Non-Euclidean Data指的是高维不规则(无穷规则)数据,例如复数域(多了一个虚轴),流形(黎曼几何)。
来自NIPS的reviews (节选翻译):
PC和5个审稿人(78877):
- ”reduces computational cost to train CNFs by no longer needing to solve an ODE.“——不再需要解ODE训练CNF,减少了计算成本。
- “likelihood computation does not require evaluating an ODE, constrast to regular CNFs.“——同上,似然估计也是训练的一部分。
- “Probably universal density estimator under suitable assumptions.“——泛化能力有保证。
- “scalability limitations to higher dimensional problems.“——高维问题上难以应用。
- ”regularization of the negative part of the density in moser flows introduces an additional hyperparameter for tuning. worries that the regularization parameter might lead to unstable training of chosen wrongly.“——损失函数里有一个
需要调,可能训练不稳定。
- ”Moser flow is not guaranteed to induce a valid probability density.“——MF不能保证生成有效的概率密度。(负值的影响嘛?)
- ......
TBD