第二十四周学习笔记

最新推荐文章于 2024-04-29 20:49:29 发布

luputo

最新推荐文章于 2024-04-29 20:49:29 发布

阅读量847

点赞数 1

分类专栏：学习笔记

本文链接：https://blog.csdn.net/luo3300612/article/details/86506717

版权

61 篇文章 3 订阅

订阅专栏

自监督关键点检测和特征描述子生成

自监督训练方法
使用全卷积神经网络架构，一个共享的encoder对图片进行编码，两个decoder分别检测关键点和生成描述子

large boost in repeatability
outperforms classical detectors under illumination changes
on par with classical detectors under viewpoint changes
Homography Estimation
- outperform LIFT and ORB
- perform comparably to SIFT
outperform LIFT in almost all metrics quantitatively
scores strongly in descriptor-focused metrics such as NN mAP and M.score, which means learned representations for descriptor matching outperform hand-tuned representations.

整个过程如图所示
在这里插入图片描述

在这里插入图片描述

构建如图的合成数据集，合成形状是由简单的2D图形（四边形、三角形、线、椭圆）组成的，定义的关键点位置为Y结、L结、T结、小椭圆的中心和线段分割处，注意这样给出的关键点实际是真实关键点的子集，但是模型最终的效果依然很好
对上一步结果进行Homographic wrap来进行数据增强

在合成数据集上训练MagicPoint，验证其效果优于一些经典算法

这一步使用训练好的MagicPoint来为目标领域图像进行pseudo ground truth生成

核心是使用随机的homography（如图）来wrap输入图像，并结合同源图像的输出图像，随机的homography是由简单的变换复合而成，这个过程就是Homographic Adaption

在这里插入图片描述

对于关键点检测函数 $f_\theta$ （即MagicPoint），记 $I$ 为输入图像， $x$ 为输出关键点， $H$ 为随机Homography，则有
$x=f_\theta(I)$
$H$ 与 $f_\theta$ 可交换，则有
$Hx=f_\theta(H(I))$

$x=H^{-1}(f_\theta(H(I)))$
通过足够多的随机的 $H$ ，来提升关键点检测器的性能，最终的检测器为
$\hat{F}(I;f_\theta)=\dfrac{1}{N_h}\sum_{i=1}^{N_h}H^{-1}_i(f_\theta(H_i(I)))$

并非所有Homography都是适合的，首先从截断正态分布中采样各种基变换，然后结合为一个Homography

最后pseudo ground truth被用来训练SuperPoint，这个过程就是普通的监督模型

默认第一个Homography为恒等变换，因此 $N_h=1$ 默认为没有进行变换，合适的值为 $N_h=100$

关注