Unsupervised Learning of Shape and Pose with Differentiable Point Clouds && NIPS 2018 论文笔记

第一作者：Eldar Insafutdinov
研究机构：Max Planck Institute for Informatics, Intel Labs

总结

• 重投影误差：该方法不需要准确的地面真实相机姿势，因此可以应用于从真实数据中学习
• 使用了位姿估计器集合来解决位姿歧义问题

论文解决的问题

解决了从一组未标记类别的特定图像中学习精确的三维形状和相机姿态的问题。

论文训练了一个卷积网络，通过最小化重投影误差来预测单个图像的形状和姿态：给定一个物体的多个视图，预测的形状到预测相机姿态的投影应该与提供的视图相匹配。

选择点云表示相比于体素更加精确，允许计算效率高的处理，可以生成高质量的形状模型

论文克服了三个问题：

1. 估计形状和姿势是一个鸡和蛋的问题：没有一个好的形状估计就不可能学习准确的姿势，反之亦然，准确的姿态估计是学习形状的必要条件。这个问题通过形状和姿势预测器的联合优化解决
2. 位姿估计容易出现由模糊性引起的局部极小值：一个目标可能从两个角度看起来很相似，如果网络在所有情况下都收敛到只预测其中一个角度，那么它将无法学习预测另一个角度。这个问题会导致姿态估计中的严重误差。为了解决这个问题，作者训练了不同的姿态预测器集合并将其提炼为单个学生模型（student model）
3. 在没有明确的3D监督的情况下学习点云信息。论文提出了一个可微投影算子，该算子在给定点集和相机姿态的情况下，生成一个二维投影（轮廓、彩色图像或深度图），作者将该算子称为“可微点云”

现有方法的不足 & 本文贡献

现有方法需要相机位姿的精确数据作为label，且预测形状由于基于voxel，其分辨率非常低。

本文提出了一种不需要标签数据、利用点云表示的方法来学习仅给出二维投影的三维物体的姿态和形状。

实验表明，点云在效率和准确性方面优于 voxel-based 的表示。

相比于使用真值训练的相机位姿估计网络，性能只有很小的下降。

论文方法介绍

直观上，模型要求对于同一对象的所有成对的视图，预测的点云的投影必须与提供的真值视图相匹配。

流程概述：

输入数据为同一个目标的多个单视图，包含K个目标的数据集:
D = ∪ i = 1 k { < X j i , p j i > } j = 1 m i X j i 为 彩 色 图 ， p j i 为 同 一 视 角 下 的 某 种 投 影 （ 如 轮 廓 或 深 度 图 等 ） ， m i 为 视 角 数 目 D = \cup _{i=1}^k\{ <X_j^i,p_j^i>\}_{j=1}^{m_i}\\X_j^i 为彩色图，p_j^i为同一视角下的某种投影（如轮廓或深度图等），m_i 为视角数目 D=∪i=1k​{<Xji​,pji​>}j=1mi​​Xji​为彩色图，pji​为同一视角下的某种投影（如轮廓或深度图等），mi​为视角数目
假定有两个输入X1,X2，分别使用它们来对形状（点云形式）和相机位姿进行预测：
$$\begin{gathered} 形状：\widehat{P_1}=F_P(x_1,{\theta }_P) \\ 相机位姿：\widehat{c_2}=F_c(x_2,{\theta }_c) \\ 其中F_P，F_c为共享大多数参数的卷积网络，通过固定长度的全连接层输出预测 \end{gathered}$$
得到两个预测后就可以投影出预测的视图：
$$\begin{gathered} {\hat{p}}_{1,2}=\pi (\widehat{P_1},\widehat{c_2}) \\ \pi 表示可微投影算子，即可微点云 \end{gathered}$$
最后使用预测视图与真值之间的差别构造损失函数：
$$L({\theta }_P,{\theta }_c)=\sum _{i=1}^N\sum _{j_1,j_2=1}^{m_i}||{\hat{p}}_{j_1,j_2}^i-p_{j_2}^i|{|}^2$$

姿态预测器估计姿态

实际上，基于上述的实现基本无法预测准确的相机位姿。这是由局部极小值引起的：有些目标从后看和从前看差别不大（位姿的歧义性），而目标姿态估计器的估计视角其有可能收敛到而两种的任何一种。

为了解决这个问题，作者设计了一个包含K个姿态预测器的集合：$F_c^k(\cdot ,{\theta }_c^k)$,然后使用“后视损失（ hindsight loss）”进行训练。损失函数：
$$\begin{gathered} L_h({\theta }_P,{\theta }_c^1,...,{\theta }_c^K)=mi{n}_{k\in [1,K]}L({\theta }_P,{\theta }_c^k) \\ 其中位姿损失L(q_1,q_2)=1-Re(q_1{q}_2^{-1}/||q1q_2^{-1}||) \\ {q}_1,q_2为四元数，Re()表示四元数的实部 \end{gathered}$$
每个预测器都专门学习一个姿态空间的子集，它们一起覆盖了目标的整个姿态空间。

如果网络架构合适，这种分工学习的机制是随机权重初始化的自然结果，无需采取特殊措施即可确保这种专业化。

不同的姿势预测器需要具有多个（根据作者经验，至少3个）非共享层。

在训练预测器集合（student）的同时，使用集合中的最佳模型（$L_h$最小的那个）作为teacher，将其提取为单个的回归器。在测试时使用该最佳模型作为姿态回归器。

最终网络的输出为 点云数据(3×N 或者包含RGB的6×N)，相机位姿(4*1，四元数)，位姿估计器集合的K=4。

可微分点云投影算子π

该投影算子给定一个点云P和一个相机位姿c，会生成一个视图p =π（P，c）

假定有N个点的点云数据为
P = { 〈 x i , s i , y i 〉 } i = 1 N 其 中 ： 点 云 坐 标 x i = ( x i , 1 , x i , 2 , x i , 3 ） ； 尺 寸 参 数 s i 是 一 个 二 维 向 量 ， 包 括 各 向 同 性 高 斯 的 协 方 差 和 比 例 因 子 ； 关 联 信 号 y i （ 例 如 R G B 颜 色 信 息 ） P=\{〈x_i,s_i,y_i〉\}^N_{i=1}\\其中： 点云坐标 x_i= (x_{i,1},x_{i,2},x_{i,3}）； 尺寸参数 s_i 是一个二维向量，包括各向同性高斯的协方差和比例因子；关联信号y_i（例如RGB颜色信息） P={〈xi​,si​,yi​〉}i=1N​其中：点云坐标xi​=(xi,1​,xi,2​,xi,3​）；尺寸参数si​是一个二维向量，包括各向同性高斯的协方差和比例因子；关联信号yi​（例如RGB颜色信息）
尺寸参数可以手动指定，也可以与点位置一起学习

投影算子流程图如下

Transformed point cloud:

首先，通过相机位姿c对应的投影变换Tc将点的位置转换到标准坐标系：$x{\prime }_i=T_c{x}_i$, 还计算了变换后的尺寸参数s’，然后设置相机变换矩阵，以使变换后的投影一律等于沿第三轴的正交投影

Occupancy map:

为了允许梯度计算，使用平滑函数fi（论文中使用缩放的高斯密度函数）表示每个经过放缩后的点云<xi，si>
$$\begin{gathered} f_i(x)=c_i\ast e^{(-\frac{1}{2}(x-x{\prime }_i{)}^T{\sum }_i^{-1}(x-x{\prime }_i))} \\ 其中〈c_i,{\Sigma }_i〉=s_i是尺寸参数（缩放因子，协方差） \end{gathered}$$
点云的占用函数是经过裁剪后的每个点的fi函数值的总和：
$$o(x)=clip(\sum _{i=1}^N{f}_i(x),[0,1])$$
将得到的函数离散为一个分辨率为1×D2×D3的网格,得到occupancy map

Ray termination probabilities：

在将occupancy map投影到平面上之前，需要确保来自被遮挡点的信号不会干扰前景点

这里使用现有的可微光线追踪公式来执行遮挡推理，将占有率o转换为射线终止概率r:
$$\begin{gathered} 占用图单元格:r_{k_1,k_2,k_3}=o_{k_1,k_2,k_3}\prod _{u=1}^{k_3-1}(1-o_{k_1,k_2,u})if{k}_3\le D3, \\ 背景单元格:r_{k_1,k_2,D_3+1}=\prod _{u=1}^{D_3}(1-o_{k_1,k_2,u}) \\ 这里k_i指的是占用图的三个维度 \end{gathered}$$
直观地，如果一个单元的占用值$o_{k_1,k_2,k_3}$很高，而之前的所有占用值$o_{k_1,k_2,u},u<k_3$都很低，则该单元具有较高的终止概率$r_{k_1,k_2,k_3}$，附加的背景单元格$r_{k_1,k_2,D_3+1}$用于确保终止概率总和为1

Orthogonal projection:

将体素网格投影到平面:
$$\begin{gathered} p_{k_1,k_2}=\sum _{k_3=1}^{D_3+1}{r}_{k_1,k_2,k_3}{y}_{k_1,k_2,k_3} \\ y(x)=\frac{{\sum }_{i=1}^N{y}_i{f}_i(x)}{{\sum }_{i=1}^N{f}_i(x)} \\ 这里y表示归一化后的投影的信号，例如RGB信息等。 \\ 如果想获得深度图，令y_{k_1,k_2,k_3}=k_3/D_3 \\ 如果想获得轮廓图，令y_{k_1,k_2,k_3}=1-{\delta }_{k_3,D_3+1} \end{gathered}$$

实验内容以及分析

已知相机位姿进行预测：

已知相机姿态情况下来预测形状的定量结果如下。

模型还支持使用除轮廓之外的其他监督信息训练，例如颜色。尽管不同视图之间的光照和阴影变化带来了挑战，但该方法仍能够正确学习彩色的点云。

不使用相机位姿的情况

这些结果证明了点云表示优于基于体素的表示。 点云特别适合表示细微的细节，例如椅子的细腿。 我们还显示了所提出方法的典型失败案例。 其中一架飞机旋转了180度，因为网络无法找到认为正确的方向。 两把椅子的形状与真实形状有所不同。 这是由于训练问题的复杂性，以及过度拟合的原因。 但是，形状看起来很细腻且逼真。

发现语义对应关系：

由于使用全连接层来预测点云，因此可以预期 同一输出单元生成的不同形状的点云具有相似的语义。

作者通过实验验证了该猜想：

从椅子类别的验证集中选择两个实例作为模板，并手动注释与特征部位相对应的3D关键点位置，例如座椅的拐角，腿的尖端等。然后对于每个关键点，选择与关键点相距不远的预测点云中的所有点，并计算两个模板之间的点索引的交集。使用这些索引在其他几个对象实例上可视化点，并用不同的颜色突出显示每组点。 结果如图所示:

如假设的那样，被选中的点往往代表不同的对象实例中的相同对象部分。 请注意，没有针对此目标进行明确的监督：语义对应关系自动出现。 作者将其归因于模型的 学习输出光滑，平滑表示的形状空间的隐式能力，这可以通过为相同的对象部分重用相同的点来实现。

Reference

【摸鱼读paper】点云形状与位姿的无监督学习 - 等我一下就好啦的文章 - 知乎 https://zhuanlan.zhihu.com/p/91618864