[CVPR2021]Birds of a Feather: Capturing Avian Shape Models from Images

标题：Birds of a Feather: Capturing Avian Shape Models from Images 

链接：https://arxiv.org/pdf/2105.09396

本文做的是基于单视角图片的3D动物重建。和大多数人脸重建模型一样，都默认提供了一个3D模板，然后只要基于模板拟合输入的图像就可以了。但不同于人脸，动物在体型上的变化比人脸要大得多（比如本文中处理的鸟类），因此这里作者提出了一个三阶段方案来进行三维重建。

模型结构

 就像别的参数化模型一样，作者也将对鸟类的拟合分成了四个参数，即姿势(theta)，骨骼长度(alpha)，整体位移(gamma)，嘴部和腿部的尺寸（kappa）。作者期望用以上的四个参数来拟合所有不同的鸟类在图像中的表现。具体步骤如图所示：对齐，类模板预测，个体形状预测

对齐(Alignment to images)

这一步的主要目标就是把模板大致的对齐到每个图像上去，但不做精细的调整。在对齐中其实也分了两步。

第一步是使用一个二层mlp对theta,alpha和gamma预测出一个初始值，然后再将初始值放到后续的步骤慢慢优化。而这个mlp是通过随机改变模型参数而获得的landmark-parameter对训练得到的。

在获得了初始值后作者用了三个loss对所有参数进行了进一步微调：

特征点损失：就是3D模型的特征点与2D图像的特征点之间做的一个l2损失（还有一个什么robust Geman-McClure function，没搞懂）。

剪影损失：把3D模型渲染成mask后与gt mask做l1损失

先验约束：使用马氏距离约束alpha和theta不要偏离均值太多。

类模板预测(Obtaining species specificshape)

为了构造基于每个种类的类模板，这里作者的目标是预测一套基于每个点的位移，位移值加上原模板就构成了每个种类的类模板。

这里再次使用了在上一节中使用的特征点和剪影损失，外加其他四个平滑项：

边缘平滑项：要求相邻点的位移差别不要太大，用的l2距离。

面平滑约束：使用拉普拉斯约束使得几何表面更为平滑

细节保留项：使用刚性约束来保证细节更倾向于刚性变化，即保留物体细节。其中爪子和腿被施加了更大的约束权重。

对称约束：即要求最终结果对称。

个体形状预测（Reconstructing individuals）

这里作者的目的是在上述类模板的基础上再次预测出一套位移值，加到类模板上，从而获得最终物体的重建形状。这里作者将这最后一套位移值视作基于类模板的一个分布，随机设定几个基向量来表达整个位移的分布，最后通过寻找合适的基向量来最小化损失，即匹配2D模型。而使用的损失和上一节的损失一模一样，即关键点损失，剪影损失和平滑项。

在预测完之后，作者再对得到的所有位移分布做PCA，从而得到最终的参数化模型。