Deep Image Homography Estimation 个人解读

原创 2017年01月03日 22:19:06

      本篇博文主要讲解2016年发表在 Computer Visionand Pattern Recognition上的一篇文章Deep Image Homography Estimation文章地址,该文章主要讲述了使用ConvNet来实现对Homography的估计,作者来自于Magic Leap,一家做AR的公司,大家可能对这个名字不是很熟悉,但是相信该链接中的视频确实引起一阵AR的浪潮。Homography(单应性)为SLAM领域的问题,由于本人对SLAM并不是特别的了解,对该文章中的卷积神经网络的应用比较感兴趣,所以如果有领域内的专业术语理解有误或者措辞不当的请谅解。

     需要解决的问题?

     传统、简单的解决Homography的方法是使用一个3*3的矩阵和一个固定的尺度比例,如下公式所示:

                                                                      

其中[u,v]为图像1中点p的位置,[u',v']为同一物体相机位于不同视角拍摄的图片2中所对应p'的位置,为旋转 项,[H_13 H_23]为平移偏移项。可以将问题寻找9个参数的问题转化为8个参数的问题,如下图所示。

                                                        

 其中∆u_1=u_1^'-u_1,其中左图中的4个角点组成一个4边形,对应右图中由4个角点组成的4边形,这样参数就由9个变成现在的8个。问题现在比较明确为求这8个参数。

     数据集构造

        对于深度学习来说,构造数据集是一个非常关键的问题。

                                                                                           

     step1:随机的以p为中心(注意边界)切一个正方形大小的patch,该patch由4个角点组成,step2:对这4个角点加扰动量[-ρ,ρ],就生成了step3中的绿色的4变形,将该多边形的变化矩阵应用到整幅图中就可以得到step4中的图。这样就可以得到左右两幅图的图像对。

    其中在训练网络中,采用SGD,动量值为0.9,基本的学习速率为0.005,每经过30000次迭代产生学习速率会下降0.1,训练网络中共有90000次迭代,batch size为64.在caffe框架中训练,采用Titan X GPU加速,大概每个网络训练时间为8小时。

    training data

    采用MS-COCO的训练集,将所有图片转化为320*240的灰度图,通过上述的构造数据集的方法共产生500,000对128*128的图像对,其中ρ=32,大约为图像尺寸的1/4。

   testing data

   采用MS-COCO14的测试集,将图片转化为640*480的灰度图,并裁剪成256*256的图像对,其中ρ=64。

 

       HomographyNet构建

       结构类似于VGG的网络,卷积核为3*3,采用了Batch Norm和ReLU,总共网络包含8个卷积层,每个卷积层的个数为:64、64、64、64、128、128、128、128,每两个卷积层之后又一个max pooling(2*2,步长为2),以及2个全连接层,输入为2-通道的灰度图,即将左图和右图叠加成2通道的图片,可以参考该博客理解。 

其中文中构造了两种HomographyNet网络,

                                                                

Classificationnetwork:采用量化机制(会产生量化误差),训练过程中交叉熵为代价函数,最后一层为softmax层产生每个角点置信度的8维向量。

Regression network:产生8个真实值,训练过程中欧式距离为代价函数,最后一层的输出为8*21,基于classionation网络的缺点,8个方向的输出用21个量化量来表示。

       效果如何?

                                                                                                      

        可以看出,Regression Network的效果最好,不过文中也提到了HomographyNet相比较于传统的ORB的方法在有些优势,并且对噪声的鲁棒性强,但是在有些场景下传统的也会比HomographyNet表现的好。

       深度学习目前在各个领域开始有应用,正如文中在结尾所说,如何将homography估计由之前的计算机视觉方面的角度转到学习的角度,是我们现在要思考的,相信深度学习将会在各个领域的问题中有所建树。以上是我对该paper的理解,如果有误,请指出,共同进步。

 

Homography estimation实现

1、RANSAC:RANdom Sample Consensus算法2、Poisson blending/Mix blending3、Homography estimation 这边先讲讲怎么实现h...
  • qq_19764963
  • qq_19764963
  • 2016年07月26日 19:21
  • 2778

共面点成像——planar homography

在前面已经讨论了三维物体成像过程,相比之下,还有一种稍简单的情况——平面成像,即所有的物点都处在同一个平面上,我们有理由相信,这种情况下的成像关系是一般立体成像的一种特例。 先回顾一下一...
  • lemianli
  • lemianli
  • 2016年07月15日 15:18
  • 555

摄像头标定(carlibration)、Homography以及它的matlab实现

Homogeneous Coordinates Pin-hole camera Model Standard Perspective Camera Model affine camera model ...
  • c602273091
  • c602273091
  • 2017年01月16日 11:20
  • 1229

Homography 知多少?

在ORB-SLAM初始化的时候,作者提到,如果场景是平面,或者近似平面,或者低视差时,我们能应用单应性矩阵(homography),这三种情形在我应用SVO的过程中颇有同感,打破了我对HH矩阵的固有映...
  • heyijia0327
  • heyijia0327
  • 2017年01月13日 14:39
  • 8061

单应矩阵Homography介绍

 Homography 理解 本文转自:http://m.blog.csdn.net/blog/xuluhui123/17115073 在计算机视觉中,平面的单应性被定义为一个平面到...
  • Sunshine_in_Moon
  • Sunshine_in_Moon
  • 2015年05月03日 21:30
  • 14655

Homography单应矩阵

Homography单应矩阵
  • u011776903
  • u011776903
  • 2017年07月14日 14:39
  • 217

Homography单应矩阵

在计算机视觉的背景下,2d affine是2D homography的子集。 从几何意义上讲, 2D homography是用来计算一堆在同一个三维平面上的点在不同的二维图像中的投影位置的,是一个...
  • yjl9122
  • yjl9122
  • 2016年03月24日 15:45
  • 7138

OpenCV之feature2d 模块. 2D特征框架(2)特征描述 使用FLANN进行特征点匹配 使用二维特征点(Features2D)和单映射(Homography)寻找已知物体 平面物体检测

特征描述 目标 在本教程中,我们将涉及: 使用 DescriptorExtractor 接口来寻找关键点对应的特征向量. 特别地: 使用 SurfDescriptorE...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年04月22日 14:00
  • 1245

单应矩阵Homography求解

单应矩阵Homography求解 在计算机视觉中,平面的单应性被定义为一个平面到另外一个平面的投影映射。因此一个二维平面上的点映射到摄像机CCD上的映射就是平面单应性的例子。如果点Q到CCD上的点q的...
  • eric_e
  • eric_e
  • 2017年01月17日 19:35
  • 1191

共面点成像——planar homography

在前面已经讨论了三维物体成像过程,相比之下,还有一种稍简单的情况——平面成像,即所有的物点都处在同一个平面上,我们有理由相信,这种情况下的成像关系是一般立体成像的一种特例。 先回顾一下一...
  • lemianli
  • lemianli
  • 2016年07月15日 15:18
  • 555
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Deep Image Homography Estimation 个人解读
举报原因:
原因补充:

(最多只允许输入30个字)