【CVPR2021】Cycle4Completion：使用带缺失区域编码的循环变换实现无配对点云补全

Cycle4Completion: Unpaired Point Cloud Completion using Cycle Transformation with Missing Region Coding

做了什么

• 提出了一种新的无配对点云完成网络——Cycle4Completion（借鉴了CycleGAN的思想，不过，输入判别器的是潜在表示）。现有的无配对点云补全方法都只考虑从缺失点云到完整点云的正向对应关系。Cycle4Completion则同时考虑正向和逆向的对应关系。

• 提出了潜在空间中的循环变换(cycle transformation)框架，该框架与部分匹配损失(partial matching loss)和循环匹配损失(cycle matching loss)相结合，建立完整和缺失形状之间的双向几何对应关系，并在整个变换过程中保持形状的一致性。

• 提出了缺失区域编码(missing region coding)，将缺失形状表示分解为相应完整形状的表示和缺失区域的编码表示。这解决了网络试图基于单个完整形状预测多个缺失形状时的目标混淆问题(target confusion)。

Cycle4Completion

整体架构

P X = { p i x } \mathcal{P}_X=\{\boldsymbol{p}_i^x\} PX​={pix​}：缺失点云。

P Y = { p i y } \mathcal{P}_Y=\{\boldsymbol{p}_i^y\} PY​={piy​}：完整点云

编码器：

• $E_X:{\mathcal{P}}_X\to \mathbf{x}$

• $E_Y:{\mathcal{P}}_Y\to \mathbf{y}$

解码器：

• $G_X$：$x\to G_X(x)$

• $G_Y$：$y\to G_Y(y)$

$F_X$和$F_Y$（生成器）实现缺失点云${\mathcal{P}}_X$的潜在表示 { x } \{\boldsymbol{x}\} {x}和完整点云${\mathcal{P}}_Y$的潜在表示 { y } \{\boldsymbol{y}\} {y}之间的映射：

• $F_X$：$\mathbf{x}\to {\mathbf{x}}_y$，($\mathbf{x}\to \mathbf{y}$)

• $F_Y$：$\mathbf{y}\to {\mathbf{y}}_x$，($\mathbf{y}\to \mathbf{x}$)

• 两个函数的复合运算表示为$F_X{F}_Y$，($\mathbf{x}\to \mathbf{y}\to \mathbf{x}$)

判别器：

• $D_X$：用于判别$\mathbf{x}$和${\mathbf{y}}_x$

• $D_Y$：用于判别$\mathbf{y}$和${\mathbf{x}}_y$

缺失区域编码

如图（a）所示，当建立从多个缺失形状（例如$A_1$、$A_2$和$A_3$）到一个完整形状（例如$A$）的形状对应关系时，会出现目标混淆的问题(target confusion problem)。即仅通过普通深度神经网络$F_Y$将一个完整输入完全映射到多个不同的缺失目标，会导致目标混淆。

为了解决这个问题，Cycle4Completion使用了可学习缺失区域编码来将缺失形状转换为完整形状，如图（b）所示。缺失形状的表示可以分解为两部分：一部分是对应完整形状的表示$A$，另一部分是编码缺失区域的编码$Z$。

从缺失形状预测完整形状时，仅考虑表示$A$。而从完整形状预测缺失形状时，则同时考虑完整形状的表示$A$和编码$Z$。可学习的缺失区域编码$Z$可以帮助网络明确哪个缺失形状是当前转换的目标，并缓解目标混淆问题。因此，转换网络$F_Y$将根据编码$Z$，学习将一个完整的输入映射到指定不缺失目标。

用于学习潜在空间的编码器-解码器

两个自编码器分别学习缺失和完整形状的潜在表示空间。

定义点云${\mathcal{P}}_1$和${\mathcal{P}}_2$的Chamfer距离为

自编码器的重建损失为：

循环变换

带缺失区域编码的循环变换

（1）缺失循环转换：

图（b）中，当$\mathbf{x}$ 由$F_X$从缺失域转换到完整域的${\mathbf{x}}_y$时，其中包含缺失区域编码${\mathbf{x}}_y^z$和完整形状表示${\mathbf{x}}_y^r$。故${\mathbf{x}}_y$可以表示为：${\mathbf{x}}_y=[{\mathbf{x}}_y^r:{\mathbf{x}}_y^z]$（":"表示连接操作）

完整的形状由${\mathbf{x}}_y^r$输入$G_Y$生成：$G_Y({\mathbf{x}}_y^r)$。

判别器$D_Y$判别${\mathbf{x}}_y^r$和$\mathbf{y}$

为了在转换过程中建立形状一致性，${\mathbf{x}}_y$被$F_Y$转换回缺失域，表示为$\hat{\mathbf{x}}$。然后使用$G_X$得到循环重建形状，表示为$G_X(\hat{\mathbf{x}})$

（2）完整循环转换

图（c）中，$E_Y$直接预测完整形状的潜在表示${\mathbf{y}}^r$。为了预测缺失的形状，从[0,1]的均匀分布中采样得到缺失区域编码${\mathbf{y}}^z$，并将其与${\mathbf{y}}^r$连接起来$\mathbf{y}=[{\mathbf{y}}^r:{\mathbf{y}}^z]$。

然后，转换网络$F_Y$将$\mathbf{y}$转换到缺失域，得到${\mathbf{y}}_x$。

与缺失循环变换类似，缺失形状是${\mathbf{y}}_x$输入$G_X$得到的，表示为$G_X({\mathbf{y}}_x)$

判别器$D_X$判别${\mathbf{y}}_x$和$\mathbf{x}$。

根据缺失循环变换的逆方向，通过$G_Y()$预测重构形状$G_Y(\hat{\mathbf{y}})$，其中$\hat{\mathbf{y}}=F_X({\mathbf{y}}_x)$，建立完整循环变换循环的形状一致性。

与$\mathbf{y}$相同地，$\hat{\mathbf{y}}$也由完整表示${\hat{\mathbf{y}}}^r$和缺失区域编码${\hat{\mathbf{y}}}^z$组成。

编码匹配损失(Code matching Loss)

从均匀分布中采样缺失区域码${\mathbf{y}}^z$，是为了从当前完整输入${\mathcal{P}}_Y$创建缺失区域。当形状${\mathcal{P}}_Y$在$F_Y$和$F_X$之间循环后，变换网络$F_Y{F}_X$将预测得到新的缺失区域编码${\hat{\mathbf{y}}}_z$。因为${\mathbf{y}}^z$和${\hat{\mathbf{y}}}_z$都对应于相同的缺失形状，所以这两个编码表示应该相等。因此，使用${\mathbf{y}}^z$和${\hat{\mathbf{y}}}_z$之间的欧氏距离作为编码跟踪损失，表示为：

循环匹配损失

循环匹配损失是为了将循环重建$G_Y（\hat{\mathbf{y}}）/G_X(\hat{\mathbf{x}}）$的形状匹配到
它们相应的输入${\mathcal{P}}_Y/{\mathcal{P}}_X$，实现在整个转换过程中应保持形状一致性。

特别地，定义${\mathcal{P}}_Y/{\mathcal{P}}_X$和$G_Y（\hat{\mathbf{y}}）/G_X(\hat{\mathbf{x}}）$之间的Chamfer距离为${\mathcal{L}}_{\mathrm{C}\mathrm{D}}\left({\mathcal{P}}_X\leftrightharpoons G_X(\hat{\mathbf{x}})\right)$和
${\mathcal{L}}_{\mathrm{C}\mathrm{D}}\left({\mathcal{P}}_Y\leftrightharpoons G_Y(\hat{\mathbf{y}})\right)$

然后，将传输网络$F_X$和$F_Y$的循环匹配损失表示为：

部分匹配损失(Partial matching loss)

部分匹配损失是一种方向约束，其目的是在不进行反向匹配的情况下，将一个形状匹配到另一个形状。

将两个点云${\mathcal{P}}_1$和${\mathcal{P}}_2$之间的部分Chamfer距离定义为：

这是一个仅要求${\mathcal{P}}_2$的形状与${\mathcal{P}}_1$的形状部分匹配的约束。

在图（b）的缺失循环中，有：${\mathcal{L}}_{{\mathrm{C}\mathrm{D}}^{\prime }}\left({\mathcal{P}}_X\to G_Y\left({\mathbf{x}}_y^r\right)\right)$

图（c）中完整循环中，有：${\mathcal{L}}_{{\mathrm{C}\mathrm{D}}^{\prime }}\left(G_X\left({\mathbf{y}}_x\right)\to {\mathcal{P}}_Y\right)$

注意，上述两个部分Chamfer距离的方向总是从缺失形状指向完整形状，这保证了缺失形状能够部分匹配完整形状，无论它是预测的$G_X\left({\mathbf{y}}_x\right)$还是真实数据${\mathcal{P}}_X$。部分匹配损失定义为：

对抗损失（Adversarial loss）

为了进一步弥合完整和缺失形状的潜在表示，采用对抗式学习框架作为无配对约束。

具体来说，使用两个鉴别器$D_X$和$D_Y$分别区分缺失域和完整域中的真表示和假表示。缺失域中的$D_X$区分真实的潜在表示 { x } \{\boldsymbol{x}\} {x}和虚假的潜在表示 { y x } \{\boldsymbol{y}_x\} {yx​}；同样地，$D_Y$则在完整域中判别$\mathbf{y}$和 { x y } \{\boldsymbol{x}_y\} {xy​}。为了稳定训练，Cycle4Completion使用了WGAN-GP。$D_X$的损失公式为：

$D_Y$同理。

生成器$F_X，F_Y$和鉴别器$D_X，D_Y$的最终对抗损失如下所示

训练策略

${\Theta }_D$： { D X , D Y } \{D_X,D_Y\} {DX​,DY​}的参数

${\Theta }_{AE}$： { E X , G X , E Y , G Y } \{E_X,G_X,E_Y,G_Y\} {EX​,GX​,EY​,GY​}的参数

${\Theta }_F$： { F X , F Y } \{F_X,F_Y\} {FX​,FY​}的参数

${\mathcal{L}}_G({\Theta }_{AE},{\Theta }_F,{\Theta }_D)$表示由自编码器(auto-encoder), 转换网络(transferring network)和 判别器(discriminator)来计算${\mathcal{L}}_G$

梯度下降优化参数：


实验中，${\lambda }_g=1,{\lambda }_c=0.01,{\lambda }_p=1$

注意，训练${\mathcal{L}}_G$和${\mathcal{L}}_{partial}$时，${\Theta }_{AE}$的参数将被固定。原因是${\mathcal{L}}_G$和${\mathcal{L}}_{partial}$都是两个域转换过程的约束，而这两个自编码器的目的是学习一个域潜在的表示空间，而不是在完整域和缺失域之间传递特征。

实验

ShapeNet训练后的模型直接用域KITTI数据集

完整循环转换的可视化分析

缺失点云的可视化分析

潜在空间可视化分析

各个模块对模型的影响

w/ 是with

w/o 是without

点数量的影响

不同训练策略的影响

${\lambda }_c$ and ${\lambda }_p$的影响

附：Chamfer距离

Chamfer距离可定义如下：

其中${\mathcal{P}}_1$和${\mathcal{P}}_2$为点集。

第一项表示对于${\mathcal{P}}_1$中每一点$p_i^1$，找${\mathcal{P}}_2$中与$p_i^1$距离最小的点$p_i^2$。然后求所有$||p_i^1-p_i^2||$之和。

第二项表示对于${\mathcal{P}}_2$中每一点$p_i^2$，找${\mathcal{P}}_1$中与$p_i^2$距离最小的点$p_i^1$。然后求所有$||p_i^2-p_i^1||$之和。