【视觉-双目三维重建-理论篇】双目三维重建----论文调研2

双目视觉三维调研方法总结

基于连续视差空间算法

立体匹配算法

基于连续视差空间算法

采用欧式投影误差作为离群准则函数,建立RANSAC算法

D-H方法

几何法和解析法相结合的方法

结合图像速度和视差信息,通过最小二乘方法对目标的相对运动状态进行了重构;将重构状态作为伪测量,引入线性化的相对运动模型,采用扩展卡尔曼滤波方法对连续多帧图像信息进行序贯处理以改善估计精度。

双目立体视觉与三维激光扫描仪相融合的近距离非合作目标相对位姿测量方法

基于双目视觉的动态目标定位与抓取研究

双目立体视觉是计算机视觉领域研究的热点内容,可以获取并恢复出场景中物体的三维信息,被广泛应用于机器人识别定位、工业自动化等众多领域,因此,进行双目立体视觉的研究有着重要的理论及实际意义。本文以双目立体视觉基本原理为依托,结合摄像机标定与立体匹配技术,开发应用于动态目标识别定位与抓取的双目立体视觉系统,并设计了以安川YASKAWA-MH6S六自由度工业机械臂抓取系统平台,进行目标识别定位与抓取实验,主要工作如下:双目摄像机标定中,建立摄像机成像模型,并考虑成像过程中相机畸变的影响,采用张正友两步标定法,得到双目相机的内参数、外参数和图像像素坐标系与世界坐标系转换的旋转矩阵与平移向量。针对目标识别问题,对多种局部特征点进行比较分析,并确定具有良好速度的Surf特征作为模板匹配的特征。采用基于特征的模板匹配算法对目标进行自动检测、识别,并通过实验验证目标物体发生缩放、旋转、被遮挡情形下目标识别的正确性与稳定性。针对动态目标三维位姿定位,本文提出了基于连续视差空间算法,对动态目标进行运动估计与姿态获取,对立体匹配算法进行了改进,将固定区域的特征点限制为一定数量,并采用欧式投影误差作为离群准则函数,建立RANSAC算法的数学模型,加入极线约束的立体匹配算法实现误匹配点的剔除,该算法在降低了误匹配点对算法的影响,同时缩小匹配所耗时间,并通过实验进行了验证分析。最后搭建一套双目视觉-机械臂手眼实验系统,通过D-H参数法对六自由度机械臂建模,正逆运动学分析和求解,在控制上本文采用的是主从式控制方式,通讯采用网络传输,主控机采用计算机平台,负责图像的采集,目标姿态解算,得出控制机械臂运动所需的关节角,从机采用工业机械臂控制器。主机将目标三维重建的位置信息传给抓取系统进行抓取实验,并对抓取误差进行分析,验证了该系统在工业生产实际中具有一定的应用价值。

 

基于双目视觉的六自由度仿人手抓取目标定位研究

摘　要： 为了使仿人手能对抓取目标物体进行识别和定位,提出一种基于双目视觉的仿人手抓取定位方法。采用改进的D-H方法对假肢手臂进行建模,采用几何法和解析法相结合的方法对六自由度假肢手臂进行逆运动学求解,并采用基于灰度相关的模板匹配算法提取出目标,最后根据双目视觉原理计算出目标位置的空间坐标,并控制假肢手臂对目标物体进行抓取。实验结果表明,假肢手臂能够有效完成对目标物体的识别和抓取动作。

 

基于双目视觉的动态目标定位与抓取研究

 

摘要

双目立体视觉是计算机视觉领域研究的热点内容,可以获取并恢复出场景中物体的三维信息,被广泛应用于机器人识别定位、工业自动化等众多领域,因此,进行双目立体视觉的研究有着重要的理论及实际意义。本文以双目立体视觉基本原理为依托,结合摄像机标定与立体匹配技术,开发应用于动态目标识别定位与抓取的双目立体视觉系统,并设计了以安川YASKAWA-MH6S六自由度工业机械臂抓取系统平台,进行目标识别定位与抓取实验,主要工作如下:双目摄像机标定中,建立摄像机成像模型,并考虑成像过程中相机畸变的影响,采用张正友两步标定法,得到双目相机的内参数、外参数和图像像素坐标系与世界坐标系转换的旋转矩阵与平移向量。针对目标识别问题,对多种局部特征点进行比较分析,并确定具有良好速度的Surf特征作为模板匹配的特征。采用基于特征的模板匹配算法对目标进行自动检测、识别,并通过实验验证目标物体发生缩放、旋转、被遮挡情形下目标识别的正确性与稳定性。针对动态目标三维位姿定位,本文提出了基于连续视差空间算法,对动态目标进行运动估计与姿态获取,对立体匹配算法进行了改进,将固定区域的特征点限制为一定数量,并采用欧式投影误差作为离群准则函数,建立RANSAC算法的数学模型,加入极线约束的立体匹配算法实现误匹配点的剔除,该算法在降低了误匹配点对算法的影响,同时缩小匹配所耗时间,并通过实验进行了验证分析。最后搭建一套双目视觉-机械臂手眼实验系统,通过D-H参数法对六自由度机械臂建模,正逆运动学分析和求解,在控制上本文采用的是主从式控制方式,通讯采用网络传输,主控机采用计算机平台,负责图像的采集,目标姿态解算,得出控制机械臂运动所需的关节角,从机采用工业机械臂控制器。主机将目标三维重建的位置信息传给抓取系统进行抓取实验,并对抓取误差进行分析,验证了该系统在工业生产实际中具有一定的应用价值。

收起

出版源

西南科技大学 , 2016

 

 

浮体六自由度实时测量系统的研究

摘要

浮体的六个运动分量,即横摇、纵摇、回转、横移、纵移和升沉,是海洋、港口和船舶工程模型试验研究中的重要参考数据。传统的接触式测量方法是利用直尺测量位移值,使用陀螺仪测量摇角,通过光线示波仪记录信号,人工读取分析,精度低,浪费人力物力,无法满足使用要求。非接触式测量基于双目立体视觉系统,采用双CCD抓拍浮体运动图像,利用标定过程获取的CCD内外参数来三维重构、计算出目标物体的空间坐标,并由此分解其六分量。该种测量技术对浮体的运动没有任何影响,精度相对较高,通过提高分辨率和采用高精度定位算法还可以对性能进行进一步提升。 本文在实时测量的前提下研究非接触式浮体测量系统的具体应用,主要完成了一下工作:首先,本文进行了以机器视觉和图像处理为理论背景的算法研究与应用,算法部分主要包括图像预处理、二值化、特征点提取、标定、立体匹配及三维重构等一系列立体视觉方面的内容;其次,本文设计并实现相应的系统软件,系统软件部分是以VC6.0为开发平台,结合Matorx公司随METEORⅡ/Digital图像采集卡提供的MIL~(TM) Library图像采集卡软件开发包,编写了一套满足工程需要的应用软件;最后,本文在实验水槽中,利用造波机打浪,对浮体运动进行了实时测量,并且对系统的测量精度进行了验证和分析。 本文搭建了新的硬件平台,提高了分辨率,且改善了精度,不仅解决了双CCD异步触发同步抓取的功能,还达到了真正的实时处理,以20f/s的速率跟踪浮体运动,并且实现了全姿态测量。同时,本文解决了工程应用条件下、实时测量过程中需要考虑的关键问题,经过不断的实验分析,论证了系统的可行性以及可靠性,精度已经达到各种科学研究和工程设计实验使用的技术指标。

 

空间六自由度对接中机器视觉技术的研究 

研究惯性约束核聚变的固体激光装置需要将某些大口径光学模块自下往上精密装配到光学路径中，这些模块数量大、种类多、尺寸规格和重量不一，而且安装环境复杂，因此在安装过程需要对其位姿进行调整。以美国NIF装校系统为参考，为满足安装精度的要求，一种机器视觉技术辅助的全自动位姿调整方案被考虑用于下装系统光学模块的空间对接中。该方案代替人工干涉过多的原始方案，提高了光学模块安装过程的装配效率和自动化程度。 本课题通过研究机器视觉系统—硬件组成、软件流程、主要特性和工作原理，以及图像预处理的原理和算法，将被测点坐标求取简化成圆形标识点圆心的求取，探讨了适于圆形标识点除噪、二值化、边缘提取等图像预处理以及像素级和亚像素级圆形边缘定位的方法，再一次图像滤波获取圆心在世界坐标系下的精确坐标。 二维坐标通过双目机器视觉系统转化成获取三维坐标的关键在于左右摄像机摄取图像中的对应点匹配问题，双目光栅视觉系统代替人工视觉测量光学模块，具有精度高、速度快、非接触等优点，将其应用于空间对接方案中，可以有效的克服人工监视主观意识的影响。 光学模块安装空间狭小，升降过程容易造成碰撞和卡死，提出一种由平面调整并联机构和水平调整并联机构串联而成六自由度混联机构，用于调整光学模块空间位姿，该机构融合了并联机构刚度大、承载能力强、精度高以及串联机构运动学分析容易、机构灵活、工作空间大的优点。机器视觉技术获取标定物和目标点之间的位姿关系，代入驱动器位移和动平台几何中心点的位姿方程，数学模型逆解，得出工作空间求解所需机构约束不等式组和任意空间点位姿方程组。在给定机构参数下通过一组实例，运用Matlab仿真分析动平台不同位姿的工作空间，并运用空间几何法进一步验证该技术的有效性。

 基于立体视觉的非合作航天器相对状态估计

 摘要

在轨服务和空间碎片清理等任务操作要求的提高,使得关于空间近场操作中高效、自主的相对导航方法研究成为热点问题。本文以非合作航天器自主交会相对导航为背景,采用双目立体视觉测量,利用最小二乘方法对图像信息进行重构获得相对状态,结合相对运动模型通过滤波提高估计精度,并针对目标惯量不确定情况下的相对状态估计问题进行研究。由于视觉测量只能敏感到目标航天器表面的特征,在质心相对运动模型的基础上加入相对姿态运动建立六自由度相对运动模型。考虑非合作航天器表面特征点分布的随机性,建立任意非质心点之间的相对运动模型,模型仿真结果表明,非质心点运动耦合引起的位置偏差在近场操作中的影响不能忽略。对计算机视觉中的位姿变换和成像原理进行研究,分析了空间目标的成像特点,考虑可能出现的图像模糊和降质问题,从图像降噪、复原和增强等方面对图像处理技术进行研究,并通过经典案例图片的处理验证相关算法的有效性。基于计算机视觉理论,建立双目视觉测量的几何模型,利用追踪航天器上获得的目标表面多特征点单副帧对图像,结合图像速度和视差信息,通过最小二乘方法对目标的相对运动状态进行了重构;将重构状态作为伪测量,引入线性化的相对运动模型,采用扩展卡尔曼滤波方法对连续多帧图像信息进行序贯处理以改善估计精度。仿真结果表明,与单纯利用图像信息的状态重构相比,滤波对估计精度的改善效果明显。针对相对导航过程中非合作航天器惯量不确定问题,考虑有部分目标惯量先验信息的情况下,利用对视觉图像信息的状态重构和序贯处理方法,设计了一套应用各惯量假设模型的并行扩展卡尔曼滤波方法进行相对状态估计,并通过贝叶斯极大后验估计方法比较各并行估计的累积残差信息,从而辨识出最接近真实惯量的一组假设和对应的相对状态估计。结果表明,本文设计的方法能够充分利用先验信息和测量信息,有效地改善惯量不确定情况下的相对位姿估计精度。 

 

基于视觉的近距离非合作空天目标的相对位姿测量技术研究 

随着人类对空间的不断探索和深入，空间飞行器交会对接、在轨服务等近场操作在空间计划和任务中扮演着越来越重要的角色。要实现空间飞行器交会对接等近场操作，相对位姿的测量是关键技术之一。　为了实现近距离非合作目标航天器的相对位姿的测量，本文研究基于双目立体视觉与三维激光扫描仪相融合的近距离非合作目标相对位姿测量方法。在100m- 20m阶段，立体视觉系统从目标图像中识别出目标航天器，并对其进行轮廓提取和跟踪，获取目标航天器的方位角信息，三维激光扫描仪测量目标航天器的相对距离信息；在20m-2m阶段，双目立体视觉系统与三维激光扫描...展开 随着人类对空间的不断探索和深入，空间飞行器交会对接、在轨服务等近场操作在空间计划和任务中扮演着越来越重要的角色。要实现空间飞行器交会对接等近场操作，相对位姿的测量是关键技术之一。 　 　为了实现近距离非合作目标航天器的相对位姿的测量，本文研究基于双目立体视觉与三维激光扫描仪相融合的近距离非合作目标相对位姿测量方法。在100m- 20m阶段，立体视觉系统从目标图像中识别出目标航天器，并对其进行轮廓提取和跟踪，获取目标航天器的方位角信息，三维激光扫描仪测量目标航天器的相对距 离信息；在20m-2m阶段，双目立体视觉系统与三维激光扫描仪融合获取准确的深度信息，并利用几何结构确定目标航天器的相对姿态信息。 　　由于 空间环境和光照条件的影响，立体视觉系统采集的目标航天器图像对在不同距离不同角度存在着不同程度的图像退化，仿射变换和图像模糊是最普遍的图像退化。本 文首先将仿射不变矩和模糊不变量在数学原理上进行融合研究，以形成仿射模糊融合矩对目标航天器退化图像进行识别；其次研究仿射模糊融合矩的尺度空间不变性，验证其在不同尺度空间的稳定性；最后通过数学仿真实验和半物理仿真实验研究仿射模糊融合矩的仿射不变性和模糊不变性。实验结果表明，应用仿射模糊融合矩对目标航天器的平均识别率达到92％，远高于仿射不变矩的76%。 　　为了实现目标航天器表面特征点的立体深度恢复，本文研究了目标航天器的立体匹配特征提取。首先研究基于Harris算子的特征角点提取；其次由于追踪航天器通常配置宽基线立体视觉系统，视觉系统采集的目标航天器图像对可能存在 旋转、尺度和光照变化等问题，因此研究基于SIFT算子的特征点提取和匹配；最后研究基于Hough变换的特征线提取，并提出基于激光点位置的目标边界直 线判定方法，解决目标边界直线无法稳定提取的问题。 　　在相对位姿测量阶段，在分析立体视觉的深度恢复原理的基础上，提出基于立体视觉的相对位姿 测量算法；并对相对位姿测量进行误差分析，根据立体深度恢复的原理，提出新的立体深度和视差关系模型，极大地提高了立体深度恢复和相对位姿测量的精度。实验结果表明，模型修正后在1600mm处深度恢复的相对误差由9.2%减小到0.75%，俯仰角、偏航角和滚转角与参考点相差45°时绝对误差分别降低了0.35°、1.17°和1.52°，基本能够满足非合作目标航天器相对位姿测量的精度要求。

 空间非合作目标的近距离相对位姿测量技术研究

  

空间非合作目标的交会对接技术是载人航天中需要解决的重要课题。其中,非合作航天器间相对位姿的测量是解决这一问题的关键技术。本文主要针对空间非合作目标的近距离相...