单目视觉系统检测车辆的测距方法(Mobileye单目测距等7种方法)

作者:CV_Community  

来源:计算机视觉社区


本文还是在传统机器视觉的基础上讨论单目测距,深度学习直接估计深度图不属于这个议题,主要通过mobileye的论文管中窥豹,相信离实际工程应用还有很远。

以前提过单目测距的问题,检测的障碍物2-D框加上摄像头的姿态和路面假设。以下根据公开发布的论文讨论具体的算法:

注:深度学习直接估计深度图不属于这个议题。

1、Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy

5e6387ffc596ab1791ede0e5a71f3a50.png

著名的Mobileye论文,先看成像几何如图:

2cabd62846cab599a427b987e26f504f.png

本车A,前方车B和C,摄像头P焦距f,高度H,和障碍物B/C距离Z1/Z2,B/C检测框着地点在图像的投影是y1/y2。那么y=fH/Z,所以Z=fH/y。下面是三个不同距离的估计结果:

00e2e67c48012d6e71cd2519c71b1204.png

精度测量得到:90米误差大约10%, 44米误差约为5%。

2、Integrated Vehicle and Lane Detection with Distance Estimation

算法流程如下:

671a6c77ba32b5a8d2791f4dac503bc8.png

先是从3个消失点估算摄像头焦距,然后6个2D-3D对应点得到摄像头姿态:

402ca747875529870b657953d3562411.png

基于车道宽度的假设(3.75米),可以算出投影矩阵,随之得到距离公式:

f186e6b78c3332d3dcf75e2668ec99a8.png

565637de8187170273e2f6d2cda5807f.png

下图是一些结果:

a5b7ce57ad46fa1ce99d9bcf076d9196.png

3、Use of a Monocular Camera to Analyze a Ground Vehicle’s Lateral Movements for Reliable Autonomous City Driving

c20f967e2739276f0ccd8662f1522119.png

还是基于消失点原理,加上水平线,可得到道路场景几何关系。

f4c92d51adccf93363bbac246637e541.png

消失点和pitch angle的关系:

4b9d619514cfbb2a2cc4eec601665718.png

从消失点得到pitch angle:

817dc10544b9de9691b7883ba606d4b2.png

4、Robust Range Estimation with a Monocular Camera for Vision-Based Forward Collision Warning System

b2a1c0fbd753eaf9216de51ab1133e63.png

如果车辆宽度已知,那么车距为d=FW/w。

f245492bfc555cc21fdeec5666aa1965.png

e592fc35e6c017257ac1eedc6c0ed1ac.png

如上图,可以计算距离为:

47e5e1c787a0094f6545fce0d40934de.png

整个FCW系统流程图如下:

b30e6189288f299790fe75a240262d70.png

给了一个虚拟水平线的概念,估计它的位置 outside_default.png,Hc为摄像头高度,Yb是车辆框底部的垂直位置。然后可以计算出车辆距离:

6abf2e949cee979f084453ea7ae8c36f.png

5、Robust Vehicle Detection and Distance Estimation Under Challenging Lighting Conditions

1579c7f0b0ea64d6a93adfdd677fe5f6.png

碰撞报警需要估算安全距离。下图几何关系能给出估计距离的公式:

3404bc30a887e761306cb875ce651ddd.png

距离公式为

d6c2c285e2e34d9c5c6f832b4a943d6b.png

下图是IPM的鸟瞰图展示距离:

efb7a338b50fd1edc01498b5cede3e36.png

fee9945243cd1361eda36793f0e0849e.png

041eba20841af89fb1c8fc54c4575640.png

6、Pitch Angle Estimation Using a Vehicle Mounted Monocular Camera for Vehicle Target Range Measurement

bb24a87297ba0240c1d551bb36dc9a06.png

计算特征点运动,由此得到自身摄像头运动,从其平移向量推出pitch angle。

d1a1967f6f21ffb0871dc70ef6f18b4b.png

上图可以计算出前方车的距离:

e98a83a0df2fe50313696f0408a10cd5.png

整个系统流程图如下:

bf2428d6ee8fe895b8f2c4a9ee1ec0c9.png

下面就是从SFM的几何关系推理距离:

99049ca75ab1740481abe69611e41a46.png

9a2a93b22d70c12ffd8bcca2652c58f4.png

看下面的关系可以得到pitch angle:

91629c75be6f83662f9f4c272970b3a5.png

04754cb4500033c12d2d724c2dc72448.png

角度计算公式为

d2ddbc9715d39c5fe26be111fbe95fc6.png

7、Forward Collision Warning with a Single Camera

d9e482ef0ee1abf2f1a728e9d54224d2.png

time to contact (TTC) 直接从车辆的大小和位置得到,下面是流程图:

58da8de6eecb144b91f208ced762f993.png

计算公式:

896afd7161d3219c5c7faa645aba34df.png

1458f0b509dd84ddf99c604a386e8c5b.png

97b31ef905620309a264f762e11f2399.png

324b2d6f71fcea6b96a0372c5f267064.png

bedb6f67e0a977e13c2e15b5b7f088ad.png

8b3b3a02210bc6377a806dd57a09ae23.png

845d4a0d3bd01c544778afee258a828c.png

29e567b1d0cd80a6c1dcc01523a521b2.png

车边框的位置以及光流大小可以确定碰撞的可能性:

e71d6d4d2478eeb10b265feb9290667e.png

e12dc8ac7b1a51e8a3a16708a839f811.png

这里主要是通过简单的几何关系,直接估算检测的路上车辆距离并给出可能的撞击时间。现在深度学习越来越强大,理论上得到车检测边框的同时,也可以回归车的距离。

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。

重磅!计算机视觉工坊-学习交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

f7b1dd510d88cbde21e035b57c0e1bd2.png

▲长按加微信群或投稿

8b395715f12eccde6c5d14db96149e63.png

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

91e604c4905904574975c9fd90d0a10e.png

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  5d3dc087f490545b723ddd316c429afb.gif

  • 5
    点赞
  • 92
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mobileye激光雷达技术-机动车辆驾驶辅助系统装置方法汇总,共333份。 1视觉增强导航 1自适应道路模型经理 2使用近红外(NIR)照明和卷帘门构建夜视和其他驾驶员辅助系统(DAS) 2视觉增强导航 3使用近红外(近红外)照明和滚动快门 3使用由单目相机记录的一系列图像估计到物体的距离 4基于检测到的目标车辆的运动来控制主车辆 4使用近红外(近红外)照明和滚动快门 5使用近红外(近红外)照明和滚动快门 5用于车辆检测和警告潜在碰撞的安全系统 6使用单个摄像头检测屏障和护栏 6使用近红外(NIR)照明和滚动快门构建夜视和其他驾驶员辅助系统(DAS) 7使用近红外线(近红外)照明和滚动快门 7使用稳定坐标系的道路垂直轮廓检测 8设备对准工具和方法 8用于上载推荐轨迹的系统方法 9从运动结构进行立体声自动校准 9用于导航车道间隔和车道分裂的 10道路垂直轮廓检测 10行人碰撞警告系统 11使用本地重叠地图导航 11使用单个摄像机 12带滚动快门的相机的图像失真校正 12行人碰撞警告系统 12用于改善地标位置的系统方法 13使用单个摄像头检测屏障和护栏 13为了检测交通标志系统方法 14基于检测到的静止车辆之间的间距来控制主车辆 14用于车辆 15使用候选对象对齐的对象检测 15用于导航车辆的前向多成像系统 16用于估计 16用于确定交通灯的状态和细节的系统方法 17用于检测相机视野中的障碍物的系统方法 17运动中的密集结构 18具有强加约束的机器学习导航引擎 18预测和响应切入车辆和利他响应 19预测和响应切入车辆和利他响应 19运动密集的结构 20稀疏地图自动驾驶汽车导航 20在汽车应用中增强的障碍物检测中的远红外和可见图像的融合 21具有滚动快门 21用于改进地标位置的系统方法 22具有滚动快门 22行人碰撞预警系统 23碰撞预警系统 23为了检测交通标志系统方法 24为了检测交通标志系统方法 24用于车辆环境中的感官增强的人机接口设备和方法 24用于路缘检测和行人危险评估的系统方法 25具有滚动快门 25沿预测路径的道路轮廓 26从移动阴影的场景中的相机进行危险检测 26具有硬件 27检测与动物相关的视觉信息 27用于确定转弯车道交通灯状态的系统方法 28立体声辅助卷帘门 29道路垂直轮廓检测 30用于陷阱检测和行人危险评估的系统方法 30自主车速校准 31基于用户干预的自适应导航基于用户干预 31使用近红外(NIR)照明和滚动快门捆绑夜视和其他驾驶员辅助系统(DAS) 32基于雷达视觉成像 32具有硬件累加器复位的计算机体系结构 33基于检测到的门打开事件来控制主机车辆 33人群采购自主车辆导航数据 34从运动结构进行立体声自动校准 34基于目标车辆检测运动来控制主机车辆 35基于停车车辆的预测状态来控制主机车辆 35基于预期的地标位置进行导航 36超级地标作为导航辅助工具 36基于单向道路的检测来控制主机车辆 37基于固定车辆之间的检测间隔控制主机车辆 37自动车尾排列导航 38用于检测和警告潜在碰撞的车辆的安全 38用于模仿领先车辆系统方法 39用于模仿领先车辆系统方法 39在具有移动阴影的场景中从摄像机进行危险检测 40碰撞预警系统 40确定道路表面特征 40用于自主车辆导航的稀疏地图 41使用车道测量本地化车辆导航 41用于识别地标的系统系统 42基于后置摄像头的前向导航 42使用CROWDSOURCED SPARSE MAP 42用于隐藏障碍物检测的光线跟踪 43基于公认的地标的自主车辆导航 43用于确定道路中的车道识别的方法和设备 43自主车辆导航 44用于对齐CROWDSOURCED SPARSE MAP数据的 44用于检测交通标志的系统方法 45拓扑在自适应加权单元的降低分辨率网格上保持强度分级 45CROWDSOURCING一 46立体声辅助卷帘门 46提高 47从运动结构 47从运动结构进行立体声自动校准 48从结构到运动 48融合远红外和可见光图像,增强汽车应用中的障碍物检测 49用于基于检测检测物体并使车辆制动的系统方法。 49用于自主车辆导航的多阈值反应区 50检测引起车辆响应的系统方法提供了一用于车辆的交通灯检测系统 50融合远红外和可见光图像,增强汽车应用中的障碍物检测 51融合远红外和可见光图像,增强汽车应用中的障碍物检测 51使用相机进行碰撞 52带有滚动快门的摄像机的图像失真校正 52立体声辅助卷帘门 53道路垂直轮廓检测 53基于检测到的障碍 54碰撞预警系统 54物体制动车辆系统方法提供了用于基于检测检测物体 56道路平面输出技术领域 57道路轮廓沿预测路径 ………… 等等333份,内容较多就不一一列举了。
### 回答1: Mobileye单目视觉测距原理是通过分析图片中的物体在相机图像上的大小和位置,结合相机的内参和外参(例如焦距、相机与物体的距离以及相机的位置和方向等信息),通过三角测量的方法来计算物体与相机的距离。 具体来说,Mobileye单目视觉测距原理采用了立体视觉的思想,利用了物体在单一摄像头下的不同视点产生的视差差异。首先,Mobileye系统会通过摄像头获取到场景的图像,并对图像进行处理和分析。然后,系统检测和识别图像中的物体,并找到物体在图像中的像素坐标。 接下来,Mobileye会利用相机的内参和外参以及图像中的像素坐标,通过三角测量的方法计算出物体与相机之间的距离。具体而言,系统会利用相机的内参(例如焦距和相机主点等参数)将像素坐标转换为实际的摄像头坐标。然后,通过相机的外参(例如相机的位置和朝向等参数)将摄像头坐标转换为世界坐标。最后,利用世界坐标和相机的位置信息,Mobileye可以计算出物体与相机之间的距离。 需要注意的是,Mobileye单目视觉测距原理存在一定的误差,主要是由于相机的内参和外参的不精确以及图像分析中的噪声和误差等因素引起的。为了提高测距的准确性,Mobileye还会采用一些其他的方法和技术,如结合雷达和激光传感器等辅助测距的方式。这样可以在一定程度上弥补单目视觉测距的不足,提高系统的整体性能。 ### 回答2: Mobileye单目视觉测距原理主要通过计算机视觉技术和算法来实现。 传统的单目视觉测距一般使用视差法,即通过比较两个视点(摄像头)的图像,利用物体在两个视点之间产生的视差差异来计算物体距离。但Mobileye采用了新一代的测距技术。 Mobileye通过摄像头捕捉道路场景的图像,并利用激光雷达获得的道路地面数据提供参考,进行环境感知和分析。利用这些图像和数据,Mobileye可以通过以下步骤进行测距: 1. 物体检测Mobileye使用机器学习和深度学习算法检测道路场景中的不同物体,如车辆、行人和障碍物。通过对图像进行分析和分类,Mobileye能够识别不同物体的位置和形状。 2. 特征提取:Mobileye检测到的物体进行特征提取,以获取物体的关键信息和特征点。这些特征点可以包括物体的边缘、纹理、颜色等。 3. 特征匹配:Mobileye通过比较当前帧图像中的特征点和之前帧图像中的特征点,使用算法找到它们之间的对应关系。这样可以建立一个基于时间连续性的物体轨迹。 4. 距离估计:Mobileye利用已知的物体轨迹和图像特征,根据物体在图像中的大小、位置和形状变化等信息,结合激光雷达提供的地面数据,使用几何和三角法来计算物体的距离。Mobileye还可以通过对相机的校准和图像的几何校正来增加测距的精确度。 总的来说,Mobileye单目视觉测距原理主要借助计算机视觉技术和算法,通过物体检测、特征提取、特征匹配和距离估计等步骤,结合激光雷达数据,来实现对道路场景中物体距离的测量。这样可以为车辆的安全驾驶和决策提供准确的视觉信息。 ### 回答3: Mobileye是一家以开发智能驾驶技术为主的公司,其单目视觉测距原理在汽车行业有着广泛的应用。 Mobileye单目视觉测距原理主要依赖于摄像头和算法的配合。首先,摄像头采集车辆前方的图像数据,通过图像处理算法,识别出道路上的标识、车辆和行人等。其次,算法会根据图像上物体的大小和位置信息进行计算,推测出物体到摄像头的距离。 为了提高准确性,Mobileye还结合了深度学习和机器学习等技术。通过对大量不同距离的图像进行训练,算法可以根据图像上物体的特征来估计距离。例如,远距离的物体在图像上可能会变得模糊,而近距离的物体可能会显得更清晰和详细。算法可以通过这些特征来确定物体的距离。 此外,Mobileye还利用了相机的固有属性,例如焦距和感光元件的大小,通过几何关系计算出物体到摄像头的距离。这方法需要对相机的内部参数进行准确的校准和测量。 总结来说,Mobileye单目视觉测距原理主要是通过摄像头采集图像数据,结合图像处理算法和深度学习技术,通过物体的大小、位置、清晰度等特征来推测物体的距离。同时,也利用相机的固有属性进行几何计算,提高测距的准确性。这技术可以应用于智能驾驶系统中,实现对前方道路上物体位置和距离的精确探测。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值