如何测算出任一副图片中的物体的实际尺寸？

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

比如我想知道这个书架每一格的高宽，有办法吗？没有什么神奇的软件可以帮忙？

A：

从一幅图像中无法测出物体的长度，因为缺乏参照物，但可以测出两个平行物体的长度比例。

如果已知一个物体的实际大小(比如在图片中放上一枚1元硬币或者知道某个柜子有多高)，那么就可以通过长度比和参照物的已知长度测出物体长度。

具体方法见文献[1]，因为需要一些矩阵运算和摄像头成像方面的推导，这里只大概说说原理。

图像测量利用了摄像头成像也就是小孔成像的几个性质[2]：

第一，摄像头把平行的直线映射为图像上相交直线，笔直的铁轨在远处相交就是这个道理，这个交点被称为消隐点(vanish point)。

可以认为平行空间直线在无穷远处相交，消隐点则是这一交点的像。

所有水平的平行直线族都各自相交于无穷远处的一点，这些点构成无穷远直线，这条直线在图像上的像叫地平线。

我们所居住的三维空间中存在三组相互垂直的直线(例如水平两组，x轴和y轴方向，竖直一组，z轴方向)，所有x、y、z方向上的平行直线在一张图片上会分别相交于各自的一个消隐点。

并且水平直线对应的两个消隐点如果连起来，连线就是地平线。

测量的关键，就是要得到这些消隐点，因此有很多竖直线(如书架)或水平线(如地板砖)的图片就容易测量。

第二，摄像头把三维空间投影到二维的图像上，保持直线交比不变，交比是四个点两两“比例的比例”。

所以如果在三维空间中的一条直线上有四个点，那么它们映射到图片上的四个点后，这四个点的交比不变。

文献[1]通过这些条件，给出了从图片上计算长度比的公式。通过示意图我们可以更加直观地看出它是如何工作的：

首先，假设我们已知蓝色小人Bob的身高，要求出红色小人John的身高，只需要知道两人的身高比值就可以：

我们用大写字母表示真实的坐标，随后用小写字母表示图片上的像素坐标。

两人的身高比值BE/AF可以这么求：首先连接AB，然后过E点做AB的平行线交AF于点D，因为ABED是个矩形，所以要求的比值就等于AD/AF。

然而，这种判断是在三维空间中做出的，当物体成像为图片，所有点的位置都会发生变化(不要问我圆头为什么会变成方头)：

其中最显著的变化是平行线相交了，由此我们可以找到三个方向的消隐点，这可以通过对竖直和两组水平平行线求延长线获得：

注意我们把水平平行线对应的两个消隐点连接起来，得到了一条在(无穷)远处的直线，每个人都熟悉它，它就是地平线。

地平线上所有的点都有一个性质：从其上一个点引出的所有直线都是相互水平平行的。

因此点D在图上的坐标d是这么求出的：
1. 画出地平线

2. 延长ab，交地平线于点c
3. 延长ce，交af，也就是John于点d

因为点c在无穷远处，所以cd和ca在空间中是平行直线，abed也就是上面说述真实空间中矩形ABED的像。

然而，知道了某些点在图像上的像，它们的实际长度比是无法直接从图上测得的，因为大家的深度不一样，这时就要利用成像前后一条直线上四个点交比不变的性质，考察红色小人John身上的三个点A、D、F以及其延长到无穷远处的点G，就可以得到(大写字母换成小写字母)：

(AD/AF)/(GD/GF)=(ad/af)/(gd/gf)

因为已经求出了点d，等式右边所有的量都可以从图像上测出。等式左边的点G在真实空间是所有垂直直线的交点，这个点在无穷远，和无穷相比点F和点D的差异可以忽略不计，所以GD/GF=1，这样就得到最终结果：

AD/AF = (ad/af)/(gd/gf)

[1] Criminisi A, Reid I, Zisserman A. Single view metrology[J]. International Journal of Computer Vision, 2000, 40(2): 123-148.

[2] Hartley R, Zisserman A. Multiple view geometry in computer vision[M]. Cambridge university press, 2003.

PS: 有朋友指出的image rectification概念其实是双目视觉中的一个专有概念，假如有两幅图像拍摄的物体相同，但是摄影师站位不同，一左一右，通过某种变换可以对两幅图像分别做一个变换，(近似)让左边这幅图像上每一行的每一个像素点代表的物体上的点在右边那副图像上的像点也恰好在右图的同一行，这种变换过程叫做image rectification。其作用是为了随后计算视差图方便。

本文由超级数学建模编辑整理

来源：王小龙（知乎）

https://www.zhihu.com/question/20448353/answer/24885779

声明：部分内容来源于网络，仅供读者学习、交流之目的。文章版权归原作者所有。如有不妥，请联系删除。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。


下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。


下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。


交流群



欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~