姿态估计 OpenCV-Python v4.7.0

目标

在本节中

• 我们将学习如何利用 calib3d 模块在图像中创建一些 3D 效果。

基础知识

本节内容较少。在上一节关于摄像机校准的内容中，我们已经找到了摄像机矩阵和畸变系数等信息。给定一幅图案图像后，我们可以利用上述信息来计算它的姿态，或物体在空间中的位置，如旋转、位移等。对于平面物体，我们可以假设 Z=0，这样，问题就变成了如何放置摄像头才能看到图案图像。因此，如果我们知道物体在空间中的位置，就可以在其中绘制一些二维图来模拟三维效果。让我们来看看如何操作。

问题是，我们要在棋盘的第一个角上绘制三维坐标轴（X、Y、Z 轴）。X 轴用蓝色，Y 轴用绿色，Z 轴用红色。因此从效果上看，Z 轴应该与棋盘平面垂直。

首先，让我们从之前的校准结果中加载相机矩阵和畸变系数。

import numpy as np
import cv2 as cv
import glob
# 加载先前保存的数据
with np.load('B.npz') as X:
 mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]

现在，让我们创建一个 draw 函数，它可以获取棋盘的角（使用 cv.findChessboardCorners() 获取）和轴点，从而绘制 3D 轴。

 def draw(img, corners, imgpts):
 corner = tuple(corners[0].ravel())
 img = cv.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)
 img = cv.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
 img = cv.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
 return img

然后，与之前的情况一样，我们创建终止标准、对象点（棋盘中角的三维点）和轴点。轴点是三维空间中用于绘制轴线的点。我们绘制长度为 3 的轴线（单位为国际象棋正方形的大小，因为我们是根据该大小进行校准的）。因此，我们的 X 轴从 (0,0,0) 到 (3,0,0)，Y 轴也是如此。至于 Z 轴，则是从（0,0,0）到（0,0,-3）。负数表示朝摄像机方向绘制。

criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

现在，像往常一样，我们加载每张图片。搜索 7x6 网格。如果找到，我们就用子角点像素对其进行细化。然后使用函数 cv.solvePnPRansac() 计算旋转和平移。得到变换矩阵后，我们就可以将 轴心点 投影到图像平面上。简单来说，我们要在图像平面上找到三维空间中(3,0,0)、(0,3,0)和(0,0,3)各对应的点。找到这些点后，我们就使用 generateImage() 函数从第一个角到这些点之间画线。完成了！！

for fname in glob.glob('left*.jpg'):
 img = cv.imread(fname)
 gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
 ret, corners = cv.findChessboardCorners(gray, (7,6),None)
 if ret == True:
 corners2 = cv.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
 # 查找旋转和平移矢量。
 ret,rvecs, tvecs = cv.solvePnP(objp, corners2, mtx, dist)
 # 将三维点投影到图像平面
 imgpts, jac = cv.projectPoints(axis, rvecs, tvecs, mtx, dist)
 img = draw(img,corners2,imgpts)
 cv.imshow('img',img)
 k = cv.waitKey(0) & 0xFF
 if k == ord('s'):
 cv.imwrite(fname[:6]+'.png', img)
 cv.destroyAllWindows()

请看下面的一些结果。请注意，每个轴都有 3 个方格长：

渲染立方体

如果要绘制立方体，请按如下方法修改 generateImage() 函数和轴点。

修改后的 generateImage() 函数：

def draw(img, corners, imgpts):
 imgpts = np.int32(imgpts).reshape(-1,2)
 # 用绿色绘制地面
 img = cv.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)
 # 用蓝色绘制柱子
 for i,j in zip(range(4),range(4,8)):
 img = cv.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)
 # 用红色绘制顶层
 img = cv.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)
 return img

修正轴点。它们是三维空间中立方体的 8 个角：

axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],
 [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])

请看下面的结果：

如果您对图形、增强现实等感兴趣，可以使用 OpenGL 渲染更复杂的图形。