2024年图像配准最新算法EfficientLoFTR(cvpr2024) 【补丁For 双鱼眼全景视频拼接】

前言

对于双鱼眼全景拼接这个项目来说, 单应性矩阵是最重要的一环。单应性矩阵中它既包含了相机的内参，也包含了相机的外参。因此就算你的相机没有特别好的定位，也能通过好的单应性矩阵救回来。

2024最新DNN配准算法

在双鱼眼相机拼接中，特征点检测与匹配是影响单应性矩阵最重要的元素。

这块网上的资料很多，大家可以自行检索。从传统算子(角点->orb->sift)到后面的dnn模型superpoint。
当然, 相比其他cv方向，该方向一直是一个小众方向, 每年好的新工作不多。
最近刚好看到一篇cvpr2024的工作:EfficientLoFTR。(由于其一些复杂的算子和依赖, 我将其转化为onnx(注意onnx版本>=1.14), 最近将会更新到 基于双鱼眼的全景视频图像拼接CV算法实战。)
论文: Link

大致看了论文,作者分了4个阶段。模型结构相对简单，但featmap/heatmap等一些转换涉及了较为复杂矩阵变换，如果你之前相对熟悉人体人脸等关键点模型，可能会好一点。

总结:

1. Eloftr在很多图像低频区域检测出特征点,非常适合双鱼眼拼接这个项目。

Case Show

1.关键点对比:

superpoint+superglue:

Eloftr:

拼接Case Show

Superpoint + superglue

Elofr