[ECCV2020]3D Bird Reconstruction: a Dataset, Model, and Shape Recovery from a Single View

标题：3D Bird Reconstruction: a Dataset, Model, and Shape Recovery from a Single View

链接：https://arxiv.org/pdf/2008.06133

本文首先是提供了一个可以用于分析鸟类行为学的数据集，然后为鸟类设计了一套精细的3D参数化模型，最后提出了一套算法来将3D模型拟合到单视角鸟类图像。

数据集

这个数据集是由8个在同一鸟笼中的相机捕获的，所有的鸟都是八哥（共15只）。 一共有125个时刻，1000张照片。所有照片中的个体都有对应的mask和bbox标注（6355个）。其中18个时刻中的1031个mask还标注了keypoints（12个语义点：嘴尖，左右眼，脖子，后颈，左右翅根，左右翼尖，左右爪，尾尖）。其余信息参见原文。

3D模板

作者首先从CGTrader Marketplace website上下载了一个可动的3D鸟模型。原模型包含了18k个顶点，13k个面。作者在此基础上移除了如羽毛，眼镜等描述细节的顶点，最后将模板删减为3932个顶点，5684个面和25个关节点（其中有一个根节点用于表示相机角度）。关节点对应的蒙皮权重用的是原模型的（即人工设定的）。除此以外，作者还提取了16个基于网格的3D关键点，对应的位置由选定的四个网格顶点位置的均值决定。

在此基础上，作者设定了几组参数用于描述这个模型：

alpha：骨骼长度，即子节点与父节点间的距离

theta：姿势参数

gamma：物体的全局位移

K,R,t：相机的内参（焦距等），旋转和位移

由于作者发现翅膀张开的情况使用LBS难以拟合，因此作者在实际操作中使用了两套模板，一个张开翅膀一个合起翅膀的。但是他们除了姿态以外别的参数全都一样。

3D重建

这里作者通过四个步骤构建出了可以对单视角图像进行重建的模型。主要包括： 多视角对齐，模型参数预测，语义特征预测，单视角优化。

多视角对齐

这里作者先使用多视角图像进行拟合，从而获得对应的相机和模型参数。在一开始，我们有的就是在基准状态下的模型及其对应的特征点，通过渲染器还可以得到模型的剪影。另外还有2D图像上手动标注的特征点和剪影，因此很直观的我们就可以构建关键点和剪影的约束。在此基础上作者又增加了三个先验保证了模型拟合的效果：

关键点约束：把标注的关键点和模型上的关键点投影做l2损失

剪影约束：把标注的剪影和渲染模型得到的剪影做l2损失

形变先验：使用l1约束对齐结果的姿势（theta）不要比原模型偏离太多

关节先验：约束关节的旋转角度不要超过设定的范围

骨骼先验：约束骨骼的长度不要超过设定的范围

模型参数预测

这一步主要是为了后续的单视角优化做准备。这里作者主要的目的是将上节中获得的结果作为ground truth，用来训练出一个端到端的网络来直接预测模型参数。

具体来说，作者先将获得的相机参数（姿势，视角，位移）拟合到一个高斯分布，然后从分布中对每个个体随机采样100套相机参数，将模型对应的关键点和剪影按照对应的相机参数投影，从而构建（模型参数：关键点&剪影）的训练样本对。

之后作者分别使用了独立的网络来预测姿势和形状。其中姿势预测网络的输入是关键点，输出就是关节旋转角度（25*6个旋转角度+3个位移参数）。形状预测网络的输入是剪影，输出是骨骼的长度（24个骨骼）。

语义特征预测

这一步也是为了后续的单视角优化做准备。这里作者的目的是训练一套检测网络来从输入的图像中检测到鸟的bbox和mask。主要分为了两步：1.使用R-CNN检测图像中每个鸟的位置，即bbox，2.根据bbox裁剪图片，再使用HRNet预测剪影和关键点。

单视角优化

有了以上几步做基础，终于就可以进行单视角的3D重建了。流程如上图所示：

1.从图像中检测关键点和剪影（语义特征检测）

2.使用检测出的关键点和剪影预测模型参数（模型参数预测）

3.按照模型参数构建模型，并通过渲染得到模型剪影，然后按照3D模板那节中提到的方式找到模型上对应的关键点，并与检测出的关键点和剪影做损失，就和多视角对齐中的关键点约束和剪影约束一样。不过这里作者没有使用另外的三个先验，而是改成了对姿势和形状做了基于马氏距离的约束。