#每天一篇论文# 234/365 深度非结构运动学习

Deep Non-Rigid Structure from Motion

摘要

-非刚性运动结构（nrsfm）是指从具有二维对应关系的图像集合中重建摄像机和非刚性物体的三维点云的问题。目前的nrsfm算法局限于两个方面：（i）图像的数量，和（ii）它们可以处理的形状变化类型。这些困难源于系统条件和需要建模的自由度之间的内在冲突，这阻碍了它在视觉中的许多应用的实用性。本文提出了一种新的nrsfm分层稀疏编码模型，它可以克服（i）和（ii）在一定程度上，nrsfm可以应用于以前认为不适定的视觉问题。该方法在实际应用中被实现为一种具有独特结构的无监督深度神经网络（dnn）自动编码器的训练，该结构能够从三维结构中分离出姿态。利用现代的深度学习计算平台，我们可以以前所未有的规模和形状复杂度来解决nrsfm问题。我们的方法没有三维监控，仅依赖于二维点对应。此外，我们的方法还可以处理丢失/遮挡的二维点，而无需矩阵完成。大量的实验证明了我们的方法令人印象深刻的性能，在某些情况下，我们对所有可用的最先进的作品都表现出了卓越的精度和鲁棒性。我们进一步提出了一种新的质量度量（基于网络权值），它绕过了对三维地面真实性的需求，以确定我们对重建能力的信心。我们相信，我们的工作是一个重大的进步，超过当前最先进的方法。

贡献

提出了一种新的基于分层稀疏编码的形状先验算法，并证明了弱透视摄像机下的二维投影可以用分层字典以块稀疏的方式表示。
通过最近的理论创新，我们展示了如何将这个问题重新解释为训练无监督的前向深层神经网络（dnn）自动编码器。
dnns在用于重建问题时的一个常见缺点是它们是一个不透明的黑盒，缺乏任何可解释性。我们方法的一个优点是，dnn直接从分层块稀疏字典学习目标中派生出来，这使得网络权值建模的透明度更高。因此，我们能够制定模型质量的度量（使用所学参数的一致性），这有助于避免过度拟合，特别是在无法获得训练数据的基本真实性时。
我们的深度nrsfm能够处理数十万个图像，并学习大型参数化以建立非刚性模型。进行了大量的实验，我们的方法在数量级上优于最新的方法。定量和定性结果都证明了我们的卓越性能–定性结果的示例如图所示

方法

实验