CNN对slam的一些改进

参考https://blog.csdn.net/wishchin/article/details/100634779
cnn对slam的改进

1.视觉检测和描述中的CNN方法

主要是提升显著点/关键点的检测性能、以及提升关键点的局部描述子性能。为了更好的进行图像匹配。
(1)SuperPoint论文方法
注意这个网络是自监督的，不需要标注。
主要论文SuperPoint: Self-Supervised Interest Point Detection and Description
开源代码https://github.com/magicleap/SuperPointPretrainedNetwork
该论文是 magic leap 公司在18年的一篇工作，而且提供了代码，基于 pytorch 的，不过遗憾的是训练代码和相应的渲染的训练数据没提供。
介绍：
The SuperPoint network is a fully convolutional deep neural network trained to detect interest points and compute their accompanying descriptors. The detected points and descriptors can thus be used for various image-to-image matching tasks.
有个替代传统光流的方法
This demo showcases a simple sparse optical flow point tracker that uses SuperPoint to detect points and match them across video sequences.
论文对比了ORB,SIFT,LIFT匹配如图
文中提到，如果检测到的特征聚集在一起，不会提高homography估计的精度！
While ORB has the highest average repeatability, the detections cluster together and generally do not result in more matches or more accurate homography estimates

(2) LIFT论文方法
LIFT需要用经典的的SFM 系统来有监督训练
论文

2.回环检测使用CNN

BOW-VLAD-VLADNet-HFnet，CVPR2019的论文HFnet，使用MobileNetSSD-V2网络，借鉴SuperPoint网络思想和特征给你强化思想以及VLAD网络思想，使用指导学习同时实现了局部特征点检测.局部特征点描述.全局特征描述的功能。
HfNet也 成为一个为三维重建/SLAM方法量身定制的一个CNN方法。其专门优化的网络结构，并使基于深度学习的实时定位方法成为一个可靠的途径

3.HfNet网络是深度学习对SLAM方法改进的集大成者

论文：
From Coarse to Fine: Robust Hierarchical Localization at Large Scale
开源代码:
https://github.com/ethz-asl/hfnet

4.对比

１．传统的特征匹配其鲁棒性和效率受到底层局部描述符和异构结构的限制
As we discuss further　in Section 3, its robustness and efficiency are limited by the
underlying local descriptors and heterogeneous structure
SIFT在光照变化比较大的情况下没有学习的特征好
SIFT is　not competitive with recent learned features, especially un-
der large illumination changes
CNN学习的特征在ＧＰＵ上推理比SIFT快很多
While the inference of such networks is significantly　faster than computing SIFT on GPU
左边到右边依次为SIFT ,SURF,ORB,FAST提取特征点化的时间

发现ＳＩＦＴ是orb的２０倍左右。

上表可以看到，使用HF提取特征比提取ＳＩＦＴ特征时间快差不多１５－２０倍

We compute nearest neighbor matches between descriptors　and report the mean average precision and the matching　score. The former reflects the ability of the method to reject spurious matches. The latter assesses the quality of the
detector and the descriptor together.
我们计算描述符之间的最近邻匹配，并报告平均精度和匹配分数。前者反映了该方法拒绝虚假匹配的能力。后者评估质量检测器和描述符一起使用的匹配质量

２．基于CNN的特征检测比传统的方法好，但是比较难学习。
CNN keypoint detections have also been　shown to outperform classical methods, although they are
notably difficult to learn.