2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud

整体网络架构是这样：

 

基本上是堆积起来的网络，一共三条分支 1:image 2d feature 提取 2:正样本point cloud pointnet feature提取，3：负样本point cloud pointnet feature 提取

，最后直接soft-margin triplet loss。

 

2d输入的是image 的patches， 3d输入的是volume。

2d使用vgg网络，3d使用pointnet网络直接从特征层获取feature

 

partches使用的是sift提取的特征点，3d volume使用ISS detector

 

数据集使用：

Oxford 2D-3D Patches Dataset