计算机视觉之相机成像几何模型（原理）与相机标定内参和外参（代码）

相机成像几何模型（原理）

一、四大坐标系及目的

四大坐标系：世界坐标系（测量坐标系），相机坐标系，图像坐标系(胶卷坐标系，连续值)，像素坐标系。

目的:用数学方式描述3D点如何投影到2D像素坐标系中(正投影：Forward projection)，以及反过来的投影过程（Back projection）。
计算机视觉的首要任务就是要通过拍摄到的图像信息获取到物体在真实三维世界里相对应的信息，于是，建立物体从三维世界映射到相机成像平面这一过程中的几何模型就显得尤为重要
 另外，描述相机坐标系下的3D点投影到图像坐标系下2D点的过程称为透视投影(perspective projection)。其中，f为相机焦距，（X,Y,Z）为相机坐标系下某点的坐标，（x,y）为图像坐标系下与（X,Y,Z）对应的坐标。

二、从世界坐标系到相机坐标系的变换

世界坐标系：也称测量坐标系，它是一个三维直角坐标系($x_w,y_w,z_w$)。
 在世界坐标系中，可以描述相机和待测物体的空间位置。而世界坐标系的位置根据实际情况自行确定。

相机坐标系：它也是一个三维直角坐标系（$x_c,y_c,z_c$）。
 相机坐标系的原点是镜头的光心，x、y轴分别与像平面两边平行，z轴为镜头的光轴，与像平面垂直。

从世界坐标系到相机坐标系：刚体变换，也就是只改变物体的空间位置(平移)和朝向（旋转），而不改变物体的形状。
 用旋转矩阵R和平移向量t可以表示这种变换。
 在齐次坐标下，旋转矩阵R是正交矩阵，可通过Rodrigues变换转为只有三个独立变量的旋转向量。因此，刚体变换用6个参数就可以表示（3个旋转向量，3个平移向量），而这6个参数就作为相机的外参。
 相机外参实现了空间点从世界坐标系到相机坐标系的变换。
$$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=R\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right]+t$$

其中，R 是 3 $\times$ 3，t 是 3 $\times$ 1。

齐次坐标下，可以表示为：

$$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& t_x\\ r_{21}& r_{22}& r_{23}& t_y\\ r_{31}& r_{32}& r_{33}& t_z\\ 0& 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$$

三、从相机坐标系到图像坐标系的变换

图像坐标系：也叫平面坐标系。用物理单位表示像素的位置，单位是mm。坐标原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点。

从相机坐标系到图像坐标系：属于透视投影关系，从3D转换到2D。

根据相似三角形原理：
$x=f\frac{x_c}{z_c}$
$y=f\frac{y_c}{z_c}$
在齐次坐标下表示为：
$$z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]$$
其中，$\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]$为透视投影矩阵。
 这样就完成了相机坐标系到理想的图像坐标系的转换（我们默认各个坐标系的变换都是线性的），但实际上，相机镜头中的镜片由于光线的通过产生不规则的折射，总是存在镜头畸变的。畸变的引入使得成像模型中的几何变换关系为非线性。
畸变的类型很多，但通常只考虑径向畸变和切向畸变。
引入畸变之后，理想的图像坐标系到真实的图像坐标系的变换为：
$x^{\prime }=x+{\delta }_{xr}+{\delta }_{xd}$
$y^{\prime }=y+{\delta }_{yr}+{\delta }_{yd}$
其中，${\delta }_{xr}$和${\delta }_{yr}$为径向引起的畸变，${\delta }_{xd}$和${\delta }_{yd}$为切向引起的畸变。
径向畸变形成的原因：镜头本身的缺陷（制造工艺不完美）导致的。
包括枕形畸变和桶形畸变。

从图中可以看出：离中心越远的地方，形变越明显（eg:四个角的位置）。
即：镜头的边缘形变更显著。
来张真实的效果图：

切向畸变：有薄透镜畸变和离心畸变等。
薄透镜畸变形成的原因：透镜存在一定的细微倾斜。
离心畸变形成的原因：镜头由多个透镜组合而成，而各透镜的光轴不在同一条中心线上。

四、从图像坐标系到像素坐标系的变换
从图像坐标系到像素坐标系：没有旋转，只是坐标原点和单位不一样。
图像坐标系坐标原点为相机光轴与成像平面的交点，单位是mm,属于物理单位。
像素坐标系坐标原点在左上角，以像素为单位，我们通常描述一个像素点是几行几列。
所以，两者之间的转换如下：

$u=\frac{x}{dx}+u_0$
$v=\frac{y}{dy}+v_0$
在齐次坐标下：
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_{O}0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\cdot \left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$

五、相机投影模型的总结

通过上面四个坐标系的转换就可以得到一个点从世界坐标系转换到像素坐标系：

$$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{dx}& 0& u_0\\ 0& \frac{1}{dy}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$$
其中，$\left[\begin{array}{cccc}{f}_x& 0& u_0& 0\\ 0& f_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]$为相机内参，$\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]$为相机外参。


上面等式的模型如下：

所以，相机成像模型最关键的部分就是要得到相机的内参和外参。

相机标定内参和外参（代码）

所用的图片：
相机标定时可用的标定板图像集
代码：

#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <fstream>
 
using namespace cv;
using namespace std;
 
int main() 
{
	ifstream fin("calibdata.txt"); /* 标定所用图像文件的路径 */
	ofstream fout("caliberation_result.txt");  /* 保存标定结果的文件 */	

	//读取每一幅图像，从中提取出角点，然后对角点进行亚像素精确化	
	cout << "开始提取角点………………" << endl;
	int image_count=0;  /* 图像数量 */
	Size image_size;  /* 图像的尺寸 */
	Size board_size = Size(6,9);    /* 标定板上每行、列的角点数 */
	vector<Point2f> image_points_buf;  /* 缓存每幅图像上检测到的角点 */
	vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */
	string filename;
	int count= -1 ;//用于存储角点个数
	while (getline(fin,filename))
	{
		image_count++;		
		// 用于观察检验输出
		cout<<"image_count = "<<image_count<<endl;		

		Mat imageInput=imread(filename);
		if (image_count == 1)  //读入第一张图片时获取图像宽高信息
		{
			image_size.width = imageInput.cols;
			image_size.height =imageInput.rows;			
			cout<<"image_size.width = "<<image_size.width<<endl;
			cout<<"image_size.height = "<<image_size.height<<endl;
		}
 
		/* 提取角点 */
		if (0 == findChessboardCorners(imageInput,board_size,image_points_buf))
		{			
			cout<<"can not find chessboard corners!\n"; //找不到角点
			exit(1);
		} 
		else 
		{
			Mat view_gray;
			cvtColor(imageInput,view_gray,CV_RGB2GRAY);
			/* 亚像素精确化 */
			find4QuadCornerSubpix(view_gray,image_points_buf,Size(5,5)); //对粗提取的角点进行精确化
			//cornerSubPix(view_gray,image_points_buf,Size(5,5),Size(-1,-1),TermCriteria(CV_TERMCRIT_EPS+CV_TERMCRIT_ITER,30,0.1));
			image_points_seq.push_back(image_points_buf);  //保存亚像素角点
			/* 在图像上显示角点位置 */
			drawChessboardCorners(view_gray,board_size,image_points_buf,false); //用于在图片中标记角点
			imshow("Camera Calibration",view_gray);//显示图片
			waitKey(10000);//暂停0.5S		
		}
	}
	int total = image_points_seq.size();
	cout<<"total = "<<total<<endl;
 
	//相机标定
	cout<<"开始标定………………";
	/*棋盘三维信息*/
	Size square_size = Size(10,10);  /* 实际测量得到的标定板上每个棋盘格的大小 */
	vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 */
	/*内外参数*/
	Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0)); /* 相机内参矩阵 */
	vector<int> point_counts;  // 每幅图像中角点的数量
	Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0)); /* 摄像机的5个畸变系数：k1,k2,p1,p2,k3 */
	vector<Mat> tvecsMat;  /* 每幅图像的平移向量 */
	vector<Mat> rvecsMat; /* 每幅图像的旋转向量 */
	/* 初始化标定板上角点的三维坐标 */
	int i,j,t;
	for (t=0;t<image_count;t++) 
	{
		vector<Point3f> tempPointSet;
		for (i=0;i<board_size.height;i++) 
		{
			for (j=0;j<board_size.width;j++) 
			{
				Point3f realPoint;
				/* 假设标定板放在世界坐标系中z=0的平面上 */
				realPoint.x = i*square_size.width;
				realPoint.y = j*square_size.height;
				realPoint.z = 0;
				tempPointSet.push_back(realPoint);
			}
		}
		object_points.push_back(tempPointSet);
	}
	/* 初始化每幅图像中的角点数量，假定每幅图像中都可以看到完整的标定板 */
	for (i=0;i<image_count;i++)
	{
		point_counts.push_back(board_size.width*board_size.height);
	}	
	/* 开始标定 */
	calibrateCamera(object_points,image_points_seq,image_size,cameraMatrix,distCoeffs,rvecsMat,tvecsMat,0);
	cout<<"标定完成！\n";
	//对标定结果进行评价
	cout<<"开始评价标定结果………………\n";
	double total_err = 0.0; /* 所有图像的平均误差的总和 */
	double err = 0.0; /* 每幅图像的平均误差 */
	vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */
	cout<<"\t每幅图像的标定误差：\n";
	fout<<"===========每幅图像的标定误差===========\n";
	for (i=0;i<image_count;i++)
	{
		vector<Point3f> tempPointSet=object_points[i];
		/* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */
		projectPoints(tempPointSet,rvecsMat[i],tvecsMat[i],cameraMatrix,distCoeffs,image_points2);
		/* 计算新的投影点和旧的投影点之间的误差*/
		vector<Point2f> tempImagePoint = image_points_seq[i];
		Mat tempImagePointMat = Mat(1,tempImagePoint.size(),CV_32FC2);
		Mat image_points2Mat = Mat(1,image_points2.size(), CV_32FC2);
		for (int j = 0 ; j < tempImagePoint.size(); j++)
		{
			image_points2Mat.at<Vec2f>(0,j) = Vec2f(image_points2[j].x, image_points2[j].y);
			tempImagePointMat.at<Vec2f>(0,j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y);
		}
		err = norm(image_points2Mat, tempImagePointMat, NORM_L2);
		total_err += err/=  point_counts[i];   
		std::cout<<"第"<<i+1<<"幅图像的平均误差："<<err<<"pixel"<<endl;   
		fout<<"第"<<i+1<<"幅图像的平均误差："<<err<<"pixel"<<endl;   
	}   
	std::cout<<"总体平均误差："<<total_err/image_count<<"pixel"<<endl;   
	fout<<"总体平均误差："<<total_err/image_count<<"pixel"<<endl<<endl;   
	std::cout<<"评价完成！"<<endl;  
	//保存定标结果  	
	std::cout<<"开始保存定标结果………………"<<endl;       
	Mat rotation_matrix = Mat(3,3,CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */
	fout<<"================相机内参================"<<endl;   
	fout<<"=============(非齐次坐标下)============="<< endl;
	fout<<cameraMatrix<<endl<<endl;   

	fout << "================相机外参================" << endl;
	fout << "=============(非齐次坐标下)=============" << endl;
	for (int i=0; i<image_count; i++) 
	{ 
		fout<<"第"<<i+1<<"幅图像的旋转向量："<<endl;   
		fout<<rvecsMat[i]<<endl;    
		/* 将旋转向量转换为相对应的旋转矩阵 */   
		Rodrigues(rvecsMat[i],rotation_matrix);   
		fout<<"第"<<i+1<<"幅图像的旋转矩阵："<<endl;   
		fout<<rotation_matrix<<endl;   
		fout<<"第"<<i+1<<"幅图像的平移向量："<<endl;   
		fout<<tvecsMat[i]<<endl<<endl;   
	}   
	std::cout<<"完成保存"<<endl; 
	fout<<endl;
	return 0;
}

运行结果：
（1）角点绘制（以right01.jpg~right04.jpg为例）




（2）命令行运行结果

（3）文件中运行结果

遇到的一些问题

（1）如何将图片集保存到txt文本中？
保证图片集和txt文件在同一目录，然后图片名字写入txt文件中保存。


（2）绘制标定板上的角点时，应设定最佳的角点数。这里给定的标定板为7*10格（7行10列）的，所以代码设定为

Size board_size = Size(6,9); 

即最外边的角点都不列入其中。
3、相机内参为4个，外参为6个，可以直接给出内参和外参，也可以以内参矩阵和外参矩阵的方式给出。另外，内参矩阵和外参矩阵又分为齐次坐标下的和非齐次坐标下的。

结语

如果你喜欢我写的文章，欢迎来踩我个人搭建的博客~
ChengNing’s Blog