D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features（2020）

本文主要目的是学习3d 点云的 detector & descriptor（之前的detector都是手工设计的，比如pointnet使用每个点，或者输入的是点云的小patch）

全文是在D2-net网络框架上的启发。

 

3. Joint Detection and Description Pipeline

    受到D2-net的启发，本文尝试在3d上进行detector & descriptor （由于3d点云的密度不均匀性质+系数性，传统的基于path的并不好（容易在稀疏的地方score特别高）

3.1. Dense Feature Description

    descriptor使用 Kernel Point Convolution (KP- Conv) ，一种带kernel的卷积，假设每个3d点都有一个feature（可以是sift也可以是别的，反正就是有feature），然后呢目的

是通过卷积得到local的feature（具有邻域信息），KP-COV使用如下公式：

 

解释：x表示3d point，f表示feature，g是kernel（你可以想象成高斯kernel，距离越近的点权重越大）

W就是权重，h是相关性函数（可以想象成高斯核）

！！！！！！以上是原始kp-cov，缺陷是：对于不同密度的点云是敏感的，那么本文将其归一化，使用如下公示：

 

3.2. Dense Keypoint Detection

    非极大值抑制使用softmax求概率最大点即可（也是在d2-net上的改进），只不过是在3d点云上进行的。

    但是使用softmax仍然存在分布不均匀的问题！！！！！！！基本上所有的3d上的learning操作都会存在分布不均匀问题！！！！！！！！！！！

    提出了一个密度不变的显著性分数来评估某个点相对于其局部邻域的显著性。

 

，其实这个意思是说，加入有一个feature map为N*C （N表示特征的个数，c表示feature），然后呢xi是一个keypoint当且仅当特征的某个维度在邻域内行和列都是最大的时候。。（其实就是选出一些比较有代表性的point（trick））

 

最后使用密度score评估keypoint

 

 

 

4. Joint Optimizating Detection & Description

 

Descriptor loss：训练的时候需要提供两组存在overlap并的点云并且得到其correspond，detector loos使用上述自适应的keypoint的sore    

 

 

学而不思则罔 思而不学则殆！！！！！！！！！！！！！！

使用在点云匹配上或者机遇点云识别上可能会好一些？毕竟也是类似2d学习出来detector & descriptor ？match->ransac icp（match可以得到初始match 更有利于icp收敛）

 

引用到2d层面上？没用 因为2d的detector本身就是密度均匀的