基于双目立体视觉的行李规格检测(源码+万字报告+讲解)

目 录
摘 要 I
Abstract II
第1章 绪论 1
1.1 论文的背景意义 1
1.2 尺寸规格检测的技术现状 4
1.3 双目立体视觉测量的技术现状 6
1.4 论文研究内容 8
第2章 基于行李图像的双目视觉测量系统设计 9
2.1 双目立体视觉结构模型 9
2.2 摄像机立体标定 11
2.2.1 摄像机坐标系统 11
2.2.2 坐标系间转换关系 11
2.2.3 摄像机模型 11
2.2.4 系统标定 11
2.3 基于立体视觉的行李测量系统结构设计 12
第3章 行李特征提取与立体匹配算法 13
3.1 图像预处理 13
3.2 行李特征点提取 13
3.2.1 边缘算子 13
3.2.2 Canny检测法 13
3.2.3 Harris角点检测 14
3.3 行李立体匹配算法 14
3.3.1 匹配约束准则 14
3.3.2 立体匹配方法 14
3.3.3 基于行李边缘特征的双向匹配算法 15
3.4 本章小结 15
第4章 行李三维信息提取及实验 16
4.1 行李三维信息的计算 16
4.1.1 最小二乘法 16
4.1.2 中点法 16
4.1.3 三角法 16
4.2 行李规格测量实验 16
4.2.1 实验平台及行李图像采集 17
4.2.2 双目视觉系统标定 17
4.2.3 行李规格测量步骤 18
4.2.4 实验结果及分析 18
4.3 本章小结 20
第5章 结论 21
参考文献 22
致 谢 24
附录A：程序清单 25
附录B：外文翻译资料 26
第1章 绪论
1.1 论文的背景意义
随着科学技术的不断发展，自动化水平的不断提高，民航运输业也在向便捷化发展。2004年11月，随着国际航协(IATA)“简化商务”战略计划的出台，各国航空公司纷纷对其传统的经营管理模式进行改进，无论是订票系统、值机系统还是行李托运系统等方面统统进行了重要的改革[1]。目前值机系统就已经有多种便捷的方式，而且广泛应用于全球各大机场，而行李托运服务则处于初步发展阶段。国际航协已将中国作为“简化商务”的首个全球试点地区，希望中国在实施“简化商务”方面能起到带头作用[2]。
自助值机服务正是很好的体现，提前在网上订票并缩短排队时间已经成为最理想的旅行方式。然而有关调查显示，大多数乘客表示行李托运问题成为他们不愿意使用自助值机服务的最大障碍，同时也是航空公司进一步发展自助值机服务的主要制约和瓶颈[3]。因为自助值机最早是针对无托运行李的乘客来设计的，有托运行李的乘客一般都到柜台办理。自助值机简便易行，使乘客很快获得登机牌，但又要花大量时间重新排队等待行李托运，所以直接导致了乘客体验的下降，限制了自助服务技术省时高效性能的发挥[4]。显然，为实现航空运输业自助化服务的目标，先决条件是妥善解决行李的自助托运服务问题。
目前在国外只有极少数机场使用了行李自助托运试用系统，处在实验或起步阶段。如荷兰阿姆斯特丹机场、法国巴黎机场、新西兰奥克兰机场以及迪拜机场等[5,6]。
在荷兰阿姆斯特丹史基浦国际机场，从2008年7月开始进行行李自助系统check in测试，乘客可扫描自己的登机牌，通过电子触摸屏进行相关的信息验证之后，就能够打印出行李标签，然后自己贴在行李上，如图1-1所示。行李标签上有一个微型的无线应答器，类似一张邮票，在几英尺外都可以识别。最后将行李放在传送带上进行托运[7,8]。
同时，该系统还具有平滑的结构设计，如图1-2所示，生物检测功能和三维相机视觉系统。结构设计是为了使行李规则放置，便于进行行李信息的检测。视觉系统是用来存储行李图像的，并作为后续行李查找的依据[9]。该系统是通过激光测距仪来实现行李规格检测的。

图1-1 阿姆斯特丹机场自助行李托运系统 图1-2 行李放置结构设计
在新西兰奥克兰机场已经采用了RFID—无线射频识别技术。其中，新西兰航空公司已经将奥克兰机场的14个自助登机服务亭换成了30个安有RFID读写器的新亭，如图1-3所示。该系统在自动打印登机牌的同时也会随即打印出行李标签，乘客可以贴在他们携带的行李上，再把行李放在传送带上，之后进入候机室或登机门，这样不仅加速了行李托运的处理而且准确率也提高了[4,5]。

图1-3 奥克兰机场自助登机亭 图1-4 迪拜机场自助行李托运系统
德国汉莎航空应用先进成熟的技术实现了行李的完全自助服务，并在迪拜机场T3航站楼运行该系统，如图1-4所示。乘客可以在触摸屏上扫描护照，得到登机牌，如图1-5所示，然后扫描条形码，打印行李标签，如图1-6所示，将标签贴在行李上，拖放到传送带上进行托运。

图1-5 扫描护照、登机牌 图1-6 打印行李标签
2012年法国巴黎机场也投入使用了自助行李托运系统，如图1-7所示，该系统能够自动检查行李的重量，尺寸，体积和标签条码。行李从进入系统开始便会在可控的方式下进行行李处理，并将时刻跟踪[4]。

图1-6 法国巴黎机场自助行李托运系统 图1-8 国航自助行李托运CUSS机
目前，国内的民航自助值机已十分普遍，主要包括值机柜台(KIOSK)、网上值机、手机值机等。在2010年，我国KIOSK自助值机乘客量就达到20991881人次，从2007年至2010年，KIOSK值机方式从1.8%上升至8%，而传统值机方式则从98%下降至89%。对于能使办理登机手续更加便捷的措施和方法，乘客非常欢迎。但是47%的乘客都把需要办理行李托运作为未使用自助值机服务的原因。在一定程度上，机场自助值机技术的推广取决于乘客自助办理行李托运的能力[10]。
中国国际航空公司在参考了世界主流航空公司成功经验的基础上，于2010年4月28日在国内首家推出自助托运行李服务。其具体使用流程是：首先乘客可以在自助值机—CUSS机上进行身份验证，如图1-8所示；然后值机系统将自动打印出登机牌和行李标签；乘客自行将标签贴在行李表面，最好是显著的位置，这样便于进行扫描；最后，乘客就可以将行李拿到交运柜台进行人工托运，此时工作人员会给一张行李领取的凭证，这样就完成了行李的托运。由此看来，该系统实际上不能实现完全的自助服务，但是可以给乘客另一种方式选择，这样可以提高机场运营效率，也能节约乘客时间[5,8]。
综上所述，如果能够研发出完全自助化的行李托运系统，对全面落实国际航协提出的“简化商务”的核心计划，缩短登机时间、方便乘客出行、降低运营成本、提高民航运营水平具有极其重要的意义，必将带来的巨大社会和经济效益。
自助行李托运系统，除了需要进行乘客身份确认、航班信息查询、登机牌打印外，最重要的是要完成行李信息检测和行李控制，实现行李的接收办理和拒绝操作。其中乘客身份确认、航班信息查询、登机牌打印等功能在传统值机系统中已经能够很好的完成，对于行李信息检测和行李控制部分，包括规格检测，重量采集，行李标签扫描和传输机控制等，则需要重点研究和攻关。本论文就是基于上述环境，针对行李信息检测中尺寸规格的自动检测来展开研究的。
1.2 尺寸规格检测的技术现状
自助行李托运系统在国外处于起步阶段，只有极少数机场在使用行李自助托运试用系统。而在国内也没有实用的自助行李托运系统，机场工作人员一般是通过目测来判别行李规格是否符合托运要求的。前阶段研制出行李自助托运系统功能样机，如图1-9所示。乘客在传统的值机系统中完成身份确认、航班信息查询、登机牌打印等功能后，就可在自助行李托运系统中对行李进行托运。该系统对于行李尺寸信息的检测是通过光电管实现的。

图1-9 自助行李托运系统样机
在自助行李托运系统中不需要测量行李的具体形状和尺寸，只要行李尺寸没有超过规定值就算合格，所以设计了一种基于反射式光电管的多检测门的动态尺寸检查系统。如图1-10所示：

图1-10 基于反射式光电管的尺寸检测系统
在该尺寸检测系统中，光电管M1和M4是用来检测行李长度的，M2是高度检测，而M3则是用来检测行李是否到达检测区。该方法简单易行，但存在以下问题：
(1) 当行李放置的角度不同时，检测的结果会有误差；
(2) 对于行李表面有反光的情况下，检测的结果是不准确的；
(3) 没有检测到行李的宽度信息。
综上所述，行李尺寸规格的自动检测尚处于初步研究阶段，需要研究一种方法，能够在自助行李托运系统里实现对行李非接触的、快速的、在线检测。
目前制造业领域在尺寸检测应用广泛的是三维坐标测量机。坐标测量机是一种精密的接触式检测仪器，它主要由互相垂直的三根机械轴构成，每个方向上都有一个标尺和导轨，导轨可以使测头实现各个方向的运动，对目标物体进行准确定位[11]。在测量过程中，主要是通过对被测量工件的角点、线的检测，计算得到其坐标值，这样就可以根据数学方法得到该工件的几何尺寸。这种方法优点是能够实现高精度的测量，但是计算量较大，测量速度很慢。
在非接触测量中，光学测量方法应用较为广泛，常被分为主动测量和被动测量两种。主动测量是指让特殊的结构光作用于物体上，再通过数学和物理的方法得到物体的三维信息；而被动测量则是指在自然光作用下，直接检测物体的几何信息[12]。光学测量方法，因为其具有较高的精度，常被应用于逆向工程、产品在线检测、医学方面等。
随着计算机技术的快速发展，视觉测量技术已经越来越成熟了。在研究人类视觉感知景物的方法后，通过多个摄像机从不同的角度获取场景信息，再通过图像处理和视觉计算，最终恢复场景的三维信息。Marr视觉理论奠定了视觉检测技术的基础，此外也提供了视觉计算的理论方法。检测的基本过程是通过两个（多个）摄像机对空间场景进行拍摄，在二维图像中提取场景特征，进行匹配，最后恢复场景三维信息[13]。由于它具有非接触式、快速、准确、自动化程度高等特点，广泛应用于物体三维测量、工业检测、虚拟现实、机器人导航以及国防工业中。
在公共场所内，通常会对不同身高的群体要求不同，比如在购买车票，使用景区的某些设施甚至在公共安全方面，人体身高都被作为重要的特征。Nihon大学就将立体视觉技术应用于身高的检测[14]。首先在入口处安装两台摄像机，然后经过图像采集、预处理、特征提取与匹配等步骤，最后利用视差原理计算出身高信息。该系统实现简单，便于操作，检测结果具有一定准确度，而且也能够满足系统实时性的要求。
工业自动化和智能化正在不断提高，如果在某些领域使机器视觉代替人类视觉，那将会节约不少人力资源。韩国Po hang科技大学研究设计了一个立体视觉检测系统，将其安装在炼钢厂的起重机上，根据钢卷的结构特点，对采集的钢卷图像进行分析，计算它的位置和重心，从而为起重机提供空间信息[14]。
视觉技术还可以应用到汽车规格的检测，如图1-11所示。英国ROVER汽车公司就利用视觉传感器实现对汽车车身的检测，通过不同的CCD摄像机组成多个测量单元，在车身的两侧对其进行图像的采集，经过分析处理后，得到车身的尺寸[15]。实验证明，这种视觉测量方法对于汽车的在线测量中具有较高的精度。

图1-11 汽车车身视觉检测系统组成
在国内，对于立体视觉测量系统的研究也越来越多。清华大学王新成提出一种算法—平行多视点，可以从平行的视点序列中提取图像序列，然后计算得到深度信息。该方法的特点是运用了图像的傅里叶变换，将时域转换到频域。提高了稳定性，降低了复杂度，而且还能保证求取深度信息的实时性[16]。
杨丽凤等人将视觉技术应用到对陶瓷片的尺寸在线测量中，利用高性能的摄像机和特殊的照明方式对目标物体进行图像采集，经过边缘检测等处理，计算出陶瓷片的尺寸信息，实验表明，测量精度可以达到0.01mm[17]。
东南大学电子工程系在立体视觉测量的研究方面，提出了一种新的匹配方法，称其为灰度相关多峰值视差绝对值极小化，可以通过偏转线圈的三维坐标实现对不规则物体的非接触测量[18]。
中国科学院自动化研究所主要对三维重建技术进行研究。用到的视觉技术有特征点的匹配，图像拼接以及表面三角化等。通过在多个视点观察物体，进行特征提取与匹配后，恢复物体三维信息，达到立体效果[19]。
1.3 双目立体视觉测量的技术现状
上世纪60年代开始，美国麻省理工学院的Robert将传统的平面图像分析推广到三维空间物体，这就是最早的立体视觉技术。80年代，该学院人AI实验室的Marr提出了一套视觉计算理论，成为双目立体视觉发展的基础。经过多年的研究和完善，该视觉理论现在已经成为一套成熟的立体视觉计算理论，并广泛应用于各个领域之中，比如制造业工件检测、空间物体三维测量、机器人导航、医学研究以及虚拟现实等，具有重要的作用[20]。
通过立体视觉技术获取空间场景的三维信息是立体视觉研究的一个重要内容。目前，应用最普遍的立体视觉结构是双目结构，它其实是模仿人类视觉来获取空间物体信息。利用双目立体视觉系统测量的基本原理是通过两个不同位置的摄像机同时采集空间某一场景，根据空间同一点在两幅图像中位置的差异（视差）来计算该空间点的三维信息。一个完整的双目立体视觉系统通常分为以下几个部分，包括目标图像的采集和预处理、摄像机的标定、图像特征的提取、立体匹配、三维信息的计算等[14]。
立体视觉测量系统中图像采集的方式有很多种，根据摄像机间的相对位置不同可以分为平行双目结构、相交光轴的双目结构以及可调节距离的双目结构。平行双目结构就是使两摄像机放置在一条直线上，并保持其光轴是平行的，它是最简单的一种几何结构，由于位置关系简单，因此便于计算空间点的三维信息。这种结构适合于视场比较大而且对测量精度要求不高的系统。相交光轴双目结构的两个摄像机交叉摆放，使其光轴相交于一点。该结构虽然没有上一种结构简单，但它匹配准确，能够实现较高精度的测量，通常应用于医学中的双目显微镜头、制造业的工件检测等。可调的双目结构指的是摄像机间的距离可以调节，这种结构一方面当距离变化时，系统就需要重新标定，计算量大；但另一方面可以根据被检测的物体大小来调节摄像机以改变视场大小，提高了测量精度和鲁棒性[16]。在实际获取立体图像时，应根据系统的要求和特点选择不同的结构，此外，还应综合考虑光照、摄像机性能以及被检测物体的特点等因素。
摄像机的标定是立体视觉测量系统中至关重要的一步，因为它可以得到摄像机的内外参数以及空间位置关系，从而就能确定图像平面的投影点和全局坐标系下空间物体点之间的对应关系[17]。针孔模型是摄像机的理想模型，摄像机标定的目的就是为了得到投影矩阵，这样通过图像平面的像素点就可以计算空间物体点的三维信息。常用的标定方法有传统标定法、摄像机自标定法以及主动视觉标定法[19]。
由摄像机采集的二维图像，需要通过图像预处理去除噪声以及不必要的信息，一般要分割出目标物体，将背景等去除，在经过形态学的处理，提高图像质量和效果。特征提取是进行立体匹配的基础，所选择的特征必须能够清晰描述被检测物的特征。迄今为止还没有一种普遍适用的特征提取算法，因为物体对象的多样性没有固定的模式。但常用的有点特征、线特征、区域特征等，其中，点特征以其能够精确定位的特点而被广泛采用[20]。总体来说，选取的特征要既要能正确描述空间物体的特点，又要使后续的匹配工作容易进行。
立体视觉测量系统中最困难同时也是极为重要的工作就是立体匹配。以双目视觉为例，当空间一点投影在左右像平面上时，左右像点在图像平面上会存在位置的差异，即视差，然后通过三角原理计算出空间点的三维信息[14]。其中，立体匹配的目标就是找出空间一点在左右像平面上的投影点，即匹配点对（共轭点对）。而实际由于客观环境中的许多因素，比如摄像机畸变、噪声影响、物体的形状以及光照条件等，使得匹配的难度加大，正确度降低。立体匹配主要工作概括起来就是选择正确的匹配基元，在极线、视差等多约束条件下设计稳定的算法结构。由于每部分都不具有唯一性和确定性，所以，立体匹配的方法有很多种，需要根据系统的自身特点，设计适合本身的匹配算法，而且同时要保证匹配速度和精度，减少误匹配，并保持匹配算法的稳定性。
再通过立体匹配得到共轭点对后，就可以得到视差，并根据不同的算法计算出空间点的三维信息。常用的三维信息恢复方法有最小二乘法、公垂线中点法以及三角法[17]。实际中，由于系统的标定误差、特征检测、匹配度等因素，也会直接影响所测量的深度信息。因此，必须保证每个部分的准确度，才能得到空间点精确的三维信息。
通过上面的工作计算得到的空间物体的三维信息还是存在一些误差，需要进一步进行校正，提高系统精度，最终完成整个物体的深度信息提取。
1.4 论文研究内容
针对自助行李托运系统中行李尺寸规格的自动检测问题，设计研究了一种基于双目立体视觉的行李规格非接触检测算法。首先通过左右两个摄像机采集行李图像，对其进行边缘检测，提取边缘特征点，然后在外极线、视差梯度等约束条件下，进行基于特征的立体匹配，最后根据视差获取行李边缘点的三维信息。

第2章 基于行李图像的双目视觉测量系统设计
双目视觉测量系统其实是模仿人类的眼睛，在同一时间使两个摄像机从不同角度拍摄空间中的某一物体，这样两个摄像机所拍摄的空间同一点在各自像平面上的投影点的位置就会存在差异，称其为视差，然后通过三角测量原理，就可以计算两个摄像机公共视场范围内物体点的三维坐标[12]。双目视觉结构根据摄像机的相对位置不同而有多种方式。在实际测量系统应用中，应该根据系统的特点选择合适的双目测量结构来保证测量的精度。
2.1 双目立体视觉结构模型
双目立体视觉测量，即由两个CCD摄像机从不同角度同时获取被测物体图像，通过摄像机标定、特征提取、立体匹配等一系列步骤，并根据视差原理实现物体三维信息恢复的过程。双目测量模型如图2-1所示，、分别为左、右两个摄像机的光学中心位置，基线长度(与之间的距离)为，摄像机焦距为。对于空间中的一点在左、右像平面上的投影点分别为、(称、是共轭对应点)[12]。

图2-1 双目视觉测量系统模型

图2-2 视差原理
成像的几何关系如图2-2所示，空间点P到直线的距离是z，和分别垂直于左右像平面，L、R为垂足，同时PH也垂直于像平面。假定，，，由三角几何关系可得到下式：
(2-1)
整理得：
(2-2)
对上式进行化简，可得：
(2-3)
代入式(2-1)中任何一个，即可计算出深度为：
(2-4)
其中，称为点在左右两个像平面上的视差，它表示了空间点在左右两幅图中位置的差异[15]。所以，由式(2.1)可以看出，空间点的深度信息与基线长度b，摄像机焦距f以及左右图像的视差d有关。其中，基线长度b和焦距f可由摄像机标定得到，而视差d则由立体匹配获得。这就是双目立体视觉的基本原理，即根据视差来恢复空间物体点的三维信息。
2.2 摄像机立体标定
摄像机标定是双目测量系统中重要的工作，标定的目地是得到摄像机的内部结构参数和外部参数，从而能够获得空间物体点与像平面上投影点之间的对应关系，即投影矩阵。标定的精度直接影响后面的立体匹配和深度信息计算的精度，所以应采用合适的算法进行摄像机的标定。
2.2.1 摄像机坐标系统
双目视觉测量系统中会用到三个坐标系统，即世界坐标系、摄像机坐标系和图像坐标系，它们都遵守右手法则，定义分别如下[17]：
…………
2.2.2 坐标系间转换关系
世界坐标系中的一点P可以通过旋转和平移变换到摄像机坐标系中，所以变换过程可由一个旋转变换矩阵R和一个平移变换向量T来描述，R是一个正交旋转矩阵，矩阵的元素和两个坐标系沿三个轴的旋转角度有关，他们通称为摄像机的外部参数。与分别是空间某一点P在摄像机坐标系与世界坐标系下的齐次坐标，则转换关系如下[14]：
…………
2.2.3 摄像机模型
由上节内容可知，针孔模型是摄像机最基本的模型，它忽略了外界因素，如噪声，摄像机畸变、环境等因素的影响，认为空间物体点、光心、以及在图像平面上的投影点是共线的。该模型主要由成像平面、光轴以及摄像机光心