Real-Time Direct Dense Matching on Fisheye Images

原创 2017年04月08日 23:37:23

Real-Time Direct Dense Matching on Fisheye Images

最近在做关于dense mapping的毕业设计,也看了不少相关论文,本文介绍下ETH的Real-Time Direct Dense Matching on Fisheye Images论文,论文虽然不是最新的,但是确是第一次将plane sweeping算法应用于fisheye上。

Motivation

作者首先介绍了一下目前的stereo matching的情况,大部分是在用rectification的方法,用这种方法有三个主要缺点,首先这种方法只能匹配两张图片,而且是要求具有相同配置的相机拍摄的图片,而plane sweeping算法可以同时匹配多张图片;其次,这种方法需要在matching之前进行rectification,因为这种方法是利用相机拍摄图片之间的极线几何关系来将把求深度的问题转化为求视差的问题,而由于相机拍出来的照片存在各种畸变,所以需要进行矫正,以保证两张照片在同一水平线上;最后,使用rectification的方法不能实现realtime,因为不能很好利用gpu。
用fisheye的原因是pinhole图片的coverage比较小。

具体实现

plane sweeping on fisheye

算法的输入为鱼眼图片和每张图片对应的相机参数,包括相机内参和相机的位姿。具体是plane sweeping算法可以参考之前的论文,这里有一个计算matching score的方法是ZNCC(zero mean normalized cross correlation)

具体的公式是这样的:
ZNCC

代价聚合

作者这里计算匹配代价聚合用了两种方法,一种是取所有匹配代价的平均值:
avg
另外一种方法是计算最好的半序列的平均代价:
这里写图片描述

深度提取

提取深度之前先选取最佳的投影平面,最佳投影平面是选最小聚合代价的平面,最后深度提取公式如下:
depth

结果评估

运行时间

figure1&2
从实验结果来看fisheye的运行时间比pinhole增加不到10%,但coverage却有很大提高。

Coverage

coverage
从上图中可以发现fisheye的coverage远远高于pinhole,定量分析见下表:
table

结论

总之,这篇论文很好地将Plane sweeping算法应用于fisheye上,提取的更加稠密的深度图,同时也实现了realtime,因为使用了GPU。

重要引用

  1. Plane sweep
  2. Real-time plane sweeping stereo with multiple sweeping directions.
版权声明:本文为博主原创文章,未经博主允许不得转载。

RGB-D实时重建那点事

该博客内容发表在泡泡机器人公众号上,请尊重泡泡机器人公众号的版权声明。基于RGB-D的三维重建要从RGB-D相机说起,微软早在2010年就把Kinect折腾出来了,2011年发布了Kinect SDK...
  • fuxingyin
  • fuxingyin
  • 2017年02月28日 19:18
  • 2858

机器学习、深度学习、计算机视觉、自然语言处理及应用案例——干货分享(持续更新......)

机器学习、深度学习、计算机视觉、自然语言处理及应用案例——干货分享(持续更新……)author@jason_ql http://blog.csdn.net/lql07161、机器学习/深度学习1.1...
  • lql0716
  • lql0716
  • 2017年04月23日 00:55
  • 8048

密集立体匹配20年论文整理

立体匹配是计算计算机视觉中的一个重要的问题。尽管已经被研究了几十年,涌现了大量的优秀的算法,但仍然还有很多问题没有解决。 这个问题仍然是一个研究的热点,每年的顶级会议和一些顶级期刊,都会刊出这方面的论...
  • xuyuhua1985
  • xuyuhua1985
  • 2014年05月19日 21:03
  • 8903

KinectFusion: Real-Time Dense Surface Mapping and Tracking

  • 2013年05月08日 23:16
  • 7.91MB
  • 下载

Visual Odometry(视觉里程计): StereoScan Dense 3d Reconstruction in Real-time

介绍 系统概述 A特征匹配 Bego-motion估计 C立体匹配 D3D重建 实验结果 运行结果及代码介绍从多个二维图片中重建3D影像是机器视觉必不可少的部分,这篇论文【1】提出的就是做3D重建的工...
  • c602273091
  • c602273091
  • 2017年01月15日 14:13
  • 1459

Real-time human pose recognition in parts from single depth images 中文翻译【译】【中译】微软kinect中用的算法

Real-time human pose recognition in parts from single depth images  中文翻译 本文中,我们专注于组件的姿势识别(we focus ...
  • wuyoy520
  • wuyoy520
  • 2015年09月29日 16:10
  • 1966

Real-Time Face Detection Using Edge-Orientation Matching

  • 2011年04月13日 11:25
  • 307KB
  • 下载

Real-time model scoring for streaming data – a prototype based on Oracle Stream Explorer and Oracle

Whether applied to manufacturing, financial services, energy, transportation, retail, government, se...
  • u014032673
  • u014032673
  • 2016年04月01日 11:54
  • 451

论文阅读(2)-Toward Real-Time Pedestrain Detection Based on a Deformable Template Model

背景介绍: 作者:Marco Pedersoli ,Jordi Gonzàlez   巴塞罗那自治大学 ,在读博士  IEEE Transactions on Intelligent Trans...
  • u013372761
  • u013372761
  • 2014年09月09日 22:37
  • 346

论文《Linux for High Performance and Real-Time Computing on SMP system.pdf》

  • 2011年02月17日 20:17
  • 254KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Real-Time Direct Dense Matching on Fisheye Images
举报原因:
原因补充:

(最多只允许输入30个字)