笔记：三维重建大作业1-相机标定

（个人理解，若有错误，请不吝指出，谢谢！)

目录

前言：

一、三维空间到照片的映射原理

二、相机标定基于python的opencv

三、参考资料

前言：

摄像机为什么需要标定？

原因有二：

1.现代摄像机都是透镜摄像机，其会产生径向畸变，所以需要算法来矫正

2.制造工艺的误差会导致点对点映射的一些偏差

一、三维空间到照片的映射原理

P点为空间坐标，P'为二维图像上的点，我们使得P点为齐次坐标下的点则其坐标为[x,y,z,1],这样就形成了线性关系，P'=MP。M就称为投影矩阵，其中M中的参数皆为摄像机的内部参数值，为常数。

我们上述所用的坐标轴是o-jki，为了统一和方便描述空间点，引入了世界坐标系Ow-JwKwIw，K[I,0]即为上述M矩阵（3*4）为内部参数，此坐标系与原来的坐标系相比，是通过对其平移、旋转得到的，R和T则为旋转和平移向量，为外部参数。

 有了变换关系，所以我们就可以求投影矩阵了。首先是相机的内部参数其自由度为5，旋转和平移6个自由度，一共11个未知数那么我们至少需要11个方程，则至少需要11对点。

上图，我们列出方程，把M矩阵拆为m1，m2，m3三个向量。

再将方程转化为已知矩阵和未知向量相乘的形式，由于选取的点多于11个，就造成了方程个数大于未知数的问题，会出现奇异值分解，所以会有迭代求解的过程。（具体求解目前还不太懂）

得到了M矩阵，我们现在就可以开始求内部和外部参数了。ρ为一个系数，由于经过M对应关系得到的点不是唯一的，在投影的那条线上均可，为了使其唯一对应则加入系数。

将M矩阵拆成A矩阵和b向量的样式，ρA=KR，通过点乘，叉乘，和取模等一些数学计算则可得到内参数。（俺对这些数学计算也一知半解）

 同样的方法，外参数旋转向量与平移向量这些外参数，其公式及其推导如上图所示。

二、相机标定基于python的opencv

本次实验的内容是单平面棋盘格的摄像机标定方法，张正友相机标定法。
本次实验使用的手机型号为：HUAWEI Mate 40E

所用棋盘如下：

​

拍摄照片：

​

代码如下：

import cv2
import numpy as np
import glob

# 设置寻找亚像素角点的参数，采用的停止准则是最大循环次数30和最大误差容限0.001

# criteria：迭代停止的模式选择，这是一个含有三个元素的元组型数。格式为（type,max_iter,epsilon）
# 其中，type又有两种选择：
# —–cv2.TERM_CRITERIA_EPS :精确度（误差）满足epsilon停止。
# —- cv2.TERM_CRITERIA_MAX_ITER：迭代次数超过max_iter停止。
# —-cv2.TERM_CRITERIA_EPS+cv2.TERM_CRITERIA_MAX_ITER，两者合体，任意一个满足结束。

criteria = (cv2.TERM_CRITERIA_MAX_ITER | cv2.TERM_CRITERIA_EPS, 30, 0.001)

# 获取标定板角点的位置
# 黑白格相交的点我截的图是4*4的

# 准备对象点，如（0,0,0），（1,0,0），（2,0,0）......，（6,5,0）
# objp = np.zeros((w*h,3), np.float32)

objp = np.zeros((4 * 4, 3), np.float32)
# mgrid把列向量[0:cbraw]复制了cbcol列，把行向量[0:cbcol]复制了cbraw行。
# 转置后reshape
objp[:, :2] = np.mgrid[0:4, 0:4].T.reshape(-1, 2)  # 将世界坐标系建在标定板上，所有点的Z坐标全部为0，所以只需要赋值x和y

obj_points = []  # 存储3D点
img_points = []  # 存储2D点

images = glob.glob("data/*.jpg")
for fname in images:
    img = cv2.imread(fname)
    img = cv2.resize(img, None ,fx=0.1, fy=0.1, interpolation= cv2.INTER_CUBIC)#我的图片太大，我缩小了十倍
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

    cv2.imshow('gray', gray)
    size = gray.shape[::-1]
    print(size)

    # int cvFindChessboardCorners(const void * image, CvSize pattern_size, CvPoint2D32f * corners,
    # int * corner_count = NULL,
    # int flags = CV_CALIB_CB_ADAPTIVE_THRESH );
    # 参数说明
    # Image:输入的棋盘图，必须是8位的灰度或者彩色图像。
    # pattern_size:棋盘图中每行和每列角点的个数
    # Corners:检测到的角点
    # corner_count: 输出，角点的个数。如果不是NULL，函数将检测到的角点的个数存储于此变量。

    ret, corners = cv2.findChessboardCorners(gray, (4, 4), None)
    print(ret)
    # print(corners)

    if ret:#如果检测到角点

        obj_points.append(objp)

        #第二参数上面检测到角点的坐标
        # 第三个参数是计算亚像素角点时考虑的区域的大小，大小为NXN;N = (winSize * 2 + 1)。
        # 第四个参数作用类似于winSize，但是总是具有较小的范围，通常忽略（即Size(-1, -1)）。
        corners2 = cv2.cornerSubPix(gray, corners, (5, 5), (-1, -1), criteria)  # 在原角点的基础上寻找亚像素角点
        #print(corners2)
        if [corners2]:
            img_points.append(corners2)
        else:
            img_points.append(corners)

        cv2.drawChessboardCorners(img, (4, 4), corners2, ret)  # OpenCV的绘制角点的函数
        cv2.imshow('img', img)
        cv2.waitKey(0)



print(len(img_points))
cv2.destroyAllWindows()

# 标定
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(obj_points, img_points, size, None, None)

print("ret:", ret)#bool值
print("mtx:\n", mtx) # 内参数矩阵
print("dist:\n", dist)  # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print("rvecs:\n", rvecs)  # 旋转向量  # 外参数
print("tvecs:\n", tvecs ) # 平移向量  # 外参数

print("-----------------------------------------------------")

for i in range(len(images)):

    img = cv2.imread(images[i])
    img = cv2.resize(img, None ,fx=0.1, fy=0.1, interpolation= cv2.INTER_CUBIC)
    h, w = img.shape[:2]
    newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))#显示更大范围的图片（正常重映射之后会删掉一部分图像）
    print (newcameramtx)#优化的相机内参
    # #也可以使用remap()进行标定
    # mapx,mapy = cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w,h),5)
    # dst = cv2.remap(img,mapx,mapy,cv2.INTER_LINEAR)
    dst = cv2.undistort(img,mtx,dist,None,newcameramtx)
    x,y,w,h = roi
    dst1 = dst[y:y+h,x:x+w]
    cv2.imwrite('calibration_data/{}.jpg'.format(i), dst1)
    print ("dst的大小为:", dst1.shape)

 得到的内参数矩阵为：

​

三、参考资料

1.Python计算机视觉编程 - 第五章 多视图几何 -张正友相机标定法_柴达夫47的博客-CSDN博客

 2.OpenCV学习笔记（二十一）——相机的标定_行歌er的博客-CSDN博客_cv2.undistort

 3.计算机视觉之三维重建篇(精简版） 北京邮电大学 鲁鹏_哔哩哔哩_bilibili

 4.老师的ppt