Non-planar Infrared-Visible Registration for Uncalibrated Stereo Pairs

最新推荐文章于 2022-07-04 19:22:59 发布

mjl@cv

最新推荐文章于 2022-07-04 19:22:59 发布

阅读量226

点赞数

本文链接：https://blog.csdn.net/mjl_cv/article/details/89324226

版权

Non-planar Infrared-Visible Registration for Uncalibrated Stereo Pairs

摘要　　

　　对于非平面场景可见光-红外视频配准是视觉监控的一个新领域。它使用两种光谱信息的结合来更好的行人检测和分割。这里，提出一个新的用于非平面场景的可见光和红外配准的在线框架，这个框架包括前景分割、特征匹配、修正和差异计算。提出的方法基于稀疏轮廓点相关性。这个框架的关键想法是在视频的开始移除错误的区域和用于非平面场景的配准方法。

1. 介绍

　　红外和可见光(TIR-Vis)视频内容配准问题是计算机视觉的一个基本问题。配准的基本想法是找到视频帧对的相关性让场景和目标在一个共同的坐标系统中表示。一些人用密集特征匹配来获得高质量的配准，而另一些人用共同显著性特征的稀疏相关性来快速配准。尽管这些系统有许多贡献，但是仍然有许多缺点需要解决。这里主要解决了三个主要的缺点。

　　首先，密集相关性方法用基于区域的衡量标准来匹配相关性对于视频来说太慢。因此，这有个轻量级的快速配准过程。此外，当处理非平面场景(例如，场景中的目标出现在不同的深度)时，这些方法所需要的修整视频不好获得。一些人提出了他们自己的数据集，连同通过标定获得的修整后视频作为输入。这些工作不能适应于不同相机获得的原生视频输入。此外，在视频应用中，配准的质量较低。这里为了快速配准解决了稀疏特征相关性问题。

　　第二，现有的稀疏相关性方法只能处理平面场景。它们的框架假设所有获取的场景都近似平面。因此，这个假设限制它们只能应用于平面场景。

　　第三，因为大多数稀疏方法依赖于暴力匹配策略，它们的计算复杂性相当高。因此不适合移动或者分布式视频监控应用。

　　当前存在的这些用于稀疏配准的框架的典型结构包含3个主要的步骤，分别是特征提取、特征匹配和图像变换。在特征提取和匹配过程中，通过多模态图像之间的稀疏相关性来利用传统特征描述子。其它技术也提出了更有意义的特征。然而，这些技术并不总是成功的，因为TIR-Vis图像对的纹理和分辨率不同。在图像变换步骤，假设所有捕获的场景近似平面，应用单应性变换来最大化目标之间覆盖区域。应该注意，没有现有框架用非修正的视频作为TIR-Vis非平面场景配准输入。这里解决了TIR-Vis视频中平面和非平面场景配准问题中现有系统中的缺点。

　　Main contribution. 这里提出了4个重要的贡献。首先，提出了一个新的用原生输入视频稀疏相关性来对齐TIR-Vis blob的方法来处理非平面场景。实验结果表明提出的框架在平面场景也取得了最先进的效果。

　　第二，提出一个分割噪音滤波策略来消除先前处理阶段假的blob，这减少了之后不必要的计算。

　　第三，引出一个相关blob保存算法来近似每帧中blob之间的相关性，没有使用暴力方法。

　　第四，创建了一个带有原生输入视频用于TIR-Vis配准的公共数据集。