opencv的姿势估计讲解加上代码

 姿势估计：给定图像，我们可以利用相机矩阵，失真系数等来计算其中物体在空间中的位置。对于平面物体，我们可以假设Z = 0。如果我们知道物体在空间中的位置，我们可以在其中绘制一些2D图来模拟3D效果。

列子示范：

我们想在棋盘的第一个角上绘制我们的3D坐标轴（X，Y，Z轴）。X轴为蓝色，Y轴为绿色，Z轴为红色。在实际中，Z轴应该与我们的棋盘平面垂直，因为棋盘平面是Z=0。

一、首先导入，我们已经得到了校准结果中相机矩阵和失真系数

import numpy as np
import cv2 as cv
import glob
# 加载先前保存的数据
with np.load('B.npz') as X:
    mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]

二、创建画图函数

我们只需要mtx和dist两个矩阵。然后创造了一个画图的函数，因为会多次用到画图，肯定是封装成函数更方便。这个函数的输入是图像，角点和一个imgpts。该函数将棋盘上的角（使用cv.findChessboardCorners()获得）和轴点绘制为3D轴。

def draw(img, corners, imgpts):
    corner = tuple(corners[0].ravel())     
    img = cv.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)     
    img = cv.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
    img = cv.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
    return img

三、创建终止条件，对象点（棋盘上角的3D点）和轴点

轴点是3D空间中用于绘制轴的点。 我们绘制长度为3的轴，因此我们的X轴从(0,0,0)绘制为(3,0,0)，对于Y轴从(0,0,0)绘制到(0,3,0),对于Z轴，从(0,0,0)绘制为(0,0,-3)。 负号表示它被拉向相机。

criteria = (cv.TERM_CRITERIA_EPS + cv.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

 四、搜索7x6网格，找到了，我们将使用子角像素对其进行优化，然后使用函数solvePnP()通过世界坐标系下3D点坐标，图像坐标系下2D像素坐标，相机内参和畸变矩阵求出rvec和tvec,再使用projectPoints()中通过3D坐标(axis),rvec,tvec，相机参数就可以求出投影出的2D坐标,最后就可以使用draw()函数从第一个角到这些点中的每个点绘制线条。

for fname in glob.glob('left*.jpg'):
    img = cv.imread(fname)
    gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
    ret, corners = cv.findChessboardCorners(gray, (7,6),None)
    if ret == True:
        corners2 = cv.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        # 找到旋转和平移矢量。
        ret,rvecs, tvecs = cv.solvePnP(objp, corners2, mtx, dist)
        # 将3D点投影到图像平面
        imgpts, jac = cv.projectPoints(axis, rvecs, tvecs, mtx, dist)
        img = draw(img,corners2,imgpts)
        cv.imshow('img',img)
        k = cv.waitKey(0) & 0xFF
        if k == ord('s'):
            cv.imwrite(fname[:6]+'.png', img)
cv.destroyAllWindows()

结果如下： 

五、如果要绘制立方体，请如下修改draw()函数和轴点。
轴点：3D空间中多维数据集的8个角

axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],                    [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])

draw函数：

def draw(img, corners, imgpts):
    imgpts = np.int32(imgpts).reshape(-1,2)
    # 用绿色绘制底层
    img = cv.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)
    # 用蓝色绘制高
    for i,j in zip(range(4),range(4,8)):
        img = cv.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)
    # 用红色绘制顶层
    img = cv.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)
    return img