RGB图像重建非刚性物体三维形状（CVPR）

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

项目、论文地址：在公众号「计算机视觉工坊」，后台回复「RGB图像重建」，即可直接下载。

概述

动物在自然界中广泛存在，分析它们的形状和运动在很多领域至关重要。但是给动物形状建模比较困难，因为捕捉人体形状的的3D扫描方法对野生动物不太适用，因此这篇文章提出了一种单独从图像捕捉动物的3D形状的方法。

动物的可变形性使这个问题极具挑战性，为了解决这个问题，作者使用了一个动物形状的先验模型来拟合数据，然后在一个典型的参考姿势变形动物的形状。与以前的方法相比，该方法明显提取了更多3D形状的细节，并且能够使用少量的视频帧来建模新物种。此外，投影的3D形状足够精确，以至于能够从多个帧中提取真实的纹理图。

简介

研究动物不仅对科学很重要，对整个社会也很重要。计算机视觉可以为动物的三维捕获、建模和跟踪提供方法，不幸的是，现在很少有方法支持捕捉逼真的动物形状和纹理，像下图一样。

现在已经有成熟的工具来制作人体的三维模型，这些模型真实、可微分、计算效率高。

相比之下，给动物建模的方法比较少。但是动物三维模型的可用性，将打开很多领域，例如生物力学、神经科学和仿生机器人等等。

尽管有很多关于人体形状模型的研究，但是不能将这些方法直接用到建模动物形状。主要原因是人体模型很容易得到，同样的方法对动物来说却比较困难，不容易获得3D训练数据集。

从动物的图像和视频比较容易获得，因此，大部分以前的工作都集中在从图像和视频中学习三维模型，但是不能提取逼真的动物形状。现存的工作基于人工干预，就像本文中作者采用的方法一样。

从图像中估计动物形状的关键挑战是它们是可连接和可变形的，并且动物处在不同的状态。尽管这样，动物的基本形状是一致的，因此，作者认为关键在于将动物的铰接结构与其形状分开。

考虑到问题的复杂性，作者使用了SAML模型，它捕捉了各个动物的形状。SMAL是从跨越一系列动物物种的玩具雕像的3D扫描中学习到的【1】，作者使用了SMAL模型的两个关键方面：基于顶点的形状与关节分解可以估计一致的形状和近似估计新物种形状的能力。由于SMAL模型缺乏动物细节，因此使用它作为细化形状的起点。作者在此基础上推陈出新，发明了一个新的方法，并给它名为为“SMALR”，意为精致的小。

前期工作

为了获得足够的真实数据，作者从野生动物的照片和视频中学习这些模型。这提出了重大的技术挑战，在以前的文献中没有提到过。