《论文阅读》Deep Global Registration

留个笔记自用

Deep Global Registration

做什么

首先先得理解点云是什么
点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。
点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。
一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样

做了什么

3D point cloud registration，3D点云配准，简单来说就是有一组潜在重叠的3D点云，这组数据可以理解成分别覆盖环境的一小部分也就是局部区域，将这一组作为输入，用其创造输出一个全局的点云图作为整体表示。比如上图中的蓝色和红色是不同摄像头下的点云表示，这里的目的就是将蓝色和红色进行校准，使其拼接成一张全局图

怎么做

首先还是一样，先是输入定义，这里的输入仅仅只有2个点云集，设为X和Y，X是拥有N_x个点的点云集，即N_x×3的维度。Y则是拥有N_y个点的点云集，每个点x_i,y_j均是3维的坐标点
首先自然是特征提取网络，Fully Convolutional Geometric Features（FCGF）

将X和Y中的各点输入，得到各点各自的特征表示F_x={f_x1,f_x2…f_xNx}和F_y，然后使用最近邻也就是NN来产生一个最开始假设的对应关系

最简单的计算方法就是直接使用特征点之间的距离
这里提供一个一维类比来解释对应的关系，设A={1,2,3,4,5}，B={11,12,13,14,15}，显然这里存在一个对应关系B = A + 10。如果一组算法得到的对应关系就是{(0, 10),(1, 11),(2, 12),(3, 13),(4, 14),(0, 14),(4, 10)}，那么前五组对应是正确合理的关系，而后面两组是不正确的，会对网络产生噪声效果。
用同样的方法制造一个对应关系，若是将x_i和y_j进行对应，那么即是一个6维的空间中的一个点

设定一个P表示为一组（i,j）的内联对应集合，这里的T是GT的变换方式，τ是常见的threshold

同时定义一个离群值N

这里的P^c也就是1-P，所以N也就是M中不正确的对应，如上面A和B中的后面两个。然后这里是使用一个卷积网络来预测6维对应点(x,y)的likelihood


再用这个LOSS去进行训练，这里的P^c跟上面同理，简单来说的意思就是，p(i,j)是上述网络预测的对应概率的likelihood，这里是为了使正确对应的概率高，错误对应的概率小
至此，我们得到了X点云集和Y点云集中每个点对应的概率，接下来就需要计算旋转和平移所需要的SE（3）
这里文中没有解释SE(3)是什么，于是一脸懵逼地上网查

也就是R是旋转矩阵，t是三维的位移向量
这里的SE（3）是

为了得到这个SE（3）接下来就需要得到R和t，得到对应集合M后就可以利用Procrustes method最小化而得到

这里的意思即是为了对应的x和y间的距离最小，即为最大重合
也就是
这里的w(i,j)是设定的一个对应权重，Rx_i+t就是将x通过旋转矩阵R和平移向量t改变，1是[1,…1]^T，X=[x₁…x_|M|]，Y=[y_J1…Y_J|M|]，这里的J是x和y的对应关系，w~=[w₁…w_|M|]是M个对应关系的权重

然后就可以对R和t进行求解

鉴于都是数学的东西就不理解了
接下来通过LOSS来对R和t来进行修改

这里的R和t*是GT，R^是预测值
第一个LOSS的意思是使旋转矩阵R接近于GT
第二个LOSS的意思是使平移向量t接近于GT
最后的LOSS加上了前面的那个为了使正确对应的概率高，错误对应的概率小的LOSS L_bce
文章到这已经结束了整个大致的流程，但又提出了一种微调的方法
这里使用6D的那个对应关系即x和y的对应关系，作者使用6D向量表示旋转矩阵，其中有两个参数a₁和a₂，两者均∈R³

这里的b₁、b₂、b₃均是三维向量，b₁=N（a₁），b₂=N（a₂-(b₁*a₂)b₁），b₃=b₁×b₂
这里的N（）L2 norm的意思，通过这样的定义就可以使a₁、a₂与我们真正需要的R和t之间进行转换
然后就可以定义一个能量函数来对a₁和a₂进行优化

φ(w) =I[w > τ ]w是一个滤波函数，就是将权重滤波到τ以下，，L(x,y)是x和y之间的逐点损失，这里的w和J跟前面的定义方式一样↓

然后就可以使用Adam之类的优化算法来进行优化，作者这里提到为什么需要改变成a₁和a₂形式的话，主要是因为上面只要用R和t的方法优化的话，实际上对应的M比重是不够多的，所以才使用这种偏数学的方法，而当correspondences足够多的时候，使用Adam这种优化算法效果更好

总结

1.因为上一篇点云registration没理解特意看的另外一篇，总体来说看起来简单多了，但这里的优化方式感觉有很大的提升空间，而且网络输出一个对应关系的likelihood略少，或许结合上图卷积能直接输出点之间的关系