相机模型、相机标定及基于yolov5的单目测距实现

1 前言

在摄像头成像过程中,物体反射的光线通过摄像头的凸透镜打在成像器件上,形成一张图片。这是一个三维物体转换为二维图像的过程。在这个过程中,丢失了物体的深度信息,所以单目摄像头很难测距。但是,我们可以通过一个强假设,来简单计算物体的距离,即假设物体是处于地面上。具体意思下面再详细说。

2 相机模型及单目测距原理

相机模型可以简单看成一个凸透镜成像的模型。下图中,XcYcZc是相机坐标系,其原点为光心O,是相机凸透镜的中心点。x-o1-y坐标系是图像坐标系。
图片从b站up主(uid:109364003)视频中截图的
图片从b站up主(uid:109364003)的视频中截图的。

图中有一个车辆,且车辆在地面上,其接地点Q必定在地面上。那么Q点的深度便可以求解出来。具体求解步骤懒得打公式了,就截图了。在单目测距过程中,实际物体上的Q点在成像的图片上对应Q’点,Q’点距离o1点沿y轴的距离为o1p’。这个距离o1p’除以y轴像素焦距fy (单位为pixel) ,再求arctan即可得到角度b’。然后按图中步骤很容易理解了。
在这里插入图片描述
在按图中步骤求解深度OD时,如果相机高度H、相机光轴与水平线的夹角a没有准确测量的话,会对测距精准度造成较大影响。所以用于自动驾驶时,随着车身抖动,测距精度会很低。如果路面不是水平的,而是具有曲率的,那该方法也将失效。

3 相机参数标定

3.1 内参矩阵

相机内参指得是相机内部参数,主要有相机的x轴和y轴焦距、图像的成像中心的偏移量。相机坐标系和图像坐标系下物体坐标可按照下式转换。
在这里插入图片描述
式中,u和v是图像坐标系中点的x轴和y轴像素坐标,其原点是图像的左上角顶点,x轴朝右、y轴朝下是正方向。Zc是在相机坐标系下的Z轴坐标,也即2中的深度OD。fx和fy分别是x轴和y轴像素焦距 (单位为pixel)。cx和cy是图像的中心点o1(相机坐标系的光心在图像上成像的点)的像素坐标(以图像左上角顶点作为原点)。

3.2 内参标定

可以采用matlab的相机标定工具箱来进行摄像头的内参标定,matlab自带的这个工具箱是采用张正友棋盘格标定方法。我们需要准备一组20张左右的棋盘格照片。棋盘格图可以在此下载

打开matlab->App->图像处理和计算机视觉->Camera Calibration,打开后界面如下。
在这里插入图片描述
直接点击Add Image一张张添加图片即可。弹窗提示输入棋盘格尺寸时,输入25mm(我提供的棋盘格单个方格的边长为25mm)。添加完20张图片左右后,点击Calibration按钮,再点击Export Camera Parameters,选择导出到工作空间,则在malatb工作空间出现标定结果。
在这里插入图片描述
如上图所示,标定结果变量为cameraParams,其中的IntrinsicMatrix即为我们所需要的内参矩阵。该矩阵转置后便是3.1中所描述的内参矩阵。

3.3 外参矩阵

外参矩阵描述的是相机坐标系与世界坐标系之间的转换关系。

在智能车上,世界坐标系可以设为:智能车质心作为原点,车辆车头朝向为Xw正方向,车辆右侧为Yw正方向,车辆垂直向上作为Zw正方向。

相机坐标系的原点为凸透镜的光心,垂直于相机凸透镜向外的方向为Zc正方向,相机右侧为Xc正方向,相机上侧为Yc正方向。

两个坐标系之间的转换主要包括绕三个轴的旋转、沿着三个轴的平移
在这里插入图片描述
需要确定好绕各轴的旋转顺序,先旋转的在右边,后旋转的再左乘上去,如下式是依次绕x,y,z轴旋转。总的旋转矩阵R = RzRyRx。
请添加图片描述
外参矩阵由旋转矩阵和平移矩阵构成,如下式。旋转矩阵为R,平移矩阵为T。通过下式可以将世界坐标系的坐标转换为相机坐标系下的坐标。
在这里插入图片描述

4 基于yolov5的单目测距实现

全部程序可以在这下载。该文件夹下,estimate_distance.py为主程序。该程序中有一个DistanceEstimation类,该类的主要成员函数有camera_parameters()、object_point_world_position()、distance()、Detect()。在Detect函数中调用yolov5检测得到目标框后,便可以提取目标框的底边的中点作为2中所述的测距所需的Q’点。然后按照2中所述原理,便可以求得到Q点的Xw和Yw坐标。取Xw和Yw的坐标的平方和,再开根号便得到了目标的直线距离。
在这里插入图片描述

由于本人水平有限,如有错误之处,希望不吝赐教!

  • 41
    点赞
  • 426
    收藏
    觉得还不错? 一键收藏
  • 136
    评论
Yolov5单目测距是指在使用Yolov5目标检测算法的基础上,通过计算目标在图像中的像素大小和实际物体的尺寸之间的关系,来实现对目标的距离测量。这个方法需要进行相机标定和测距添加等步骤。 首先,需要进行相关配置,包括安装Yolov5并配置其环境,下载并解压测距项目,并在PyCharm中配置运行环境。然后,运行detect.py文件,查看案例效果,确保Yolov5目标检测成功运行。 接下来,进行相机标定相机标定是为了获取相机的内参和外参,以便后续计算目标距离时使用。标定方法可以有两种,一种是针对图片的标定方法,另一种是针对视频的标定方法。 然后,进行相机测距。在测距添加步骤中,需要根据标定得到的相机参数,计算目标在图像中的像素大小,并与实际物体的尺寸进行比较,从而得到目标的距离信息。在细节修改步骤中,可以对测距结果进行一些调整和优化。 最后,可以通过实验效果来验证测距的准确性和可靠性。 综上所述,Yolov5单目测距是在Yolov5目标检测的基础上,通过相机标定和测距添加等步骤,实现对目标的距离测量。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* [基于yolov5的目标检测和单目测距](https://blog.csdn.net/XiaoLanZi7k7k/article/details/126822650)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [YOLOv5+单目测量物体尺寸(python)](https://blog.csdn.net/qq_45077760/article/details/130500592)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 136
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值