SLAM学习 | 单目相机标定（附代码实测可用）

概要： 这篇文章介绍如何解决做SLAM过程中遇到的相机标定问题。关于针孔相机模型及其畸变的问题，高博在其《视觉SLAM十四讲》第五章中有详细的介绍。书中提到的相机内部参数包括内参矩阵和畸变系数，其中内参矩阵有4个待定参数，畸变分为径向畸变和切向畸变，径向畸变用k表示，一般用2-3个即可，切向畸变用p表示，一般用2个表示，相机标定的目的就是为了估计这些参数。本文使用张正友标定法进行相机标定，并进行相关实验。
关键字： 单目相机; 张正友标定法
 

1 针孔相机模型

   针孔相机模型在《视觉SLAM十四讲》中有详细介绍，我在这里不打算再赘述，这里只介绍其中最关键的一张图：

图1 针孔相机模型

 
   相机在成像过程中涉及四种坐标系，分别是：世界坐标系、相机坐标系、归一化成像平面坐标系和像素坐标系。这其中的相机坐标系和归一化成像平面坐标系的XYZ三轴方向已经在图1中给出，相机坐标系的三轴方向是：

X、Y、Z三轴分别指向相机右侧、下侧和沿着光轴指向正前方

   尤其需要注意的是，ORB-SLAM2中的相机坐标也是按照图1给出的，相机校正过程中计算得到的内参矩阵也是在这一坐标系下得出的。

2 张正友标定法

   在SLAM领域，绝大部分情况下都是用的张正友标定法来做相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。文中提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。

   文章引用如下：

   Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22.

   网上有很多实现张正友标定法的公开代码，这里选用其中用C++实现的一种，实测可以使用。记录如下：

#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <fstream>

using namespace cv;
using namespace std;

void main()
{
 ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */
 ofstream fout("calibration_MI9_result.txt");  /* 保存标定结果的文件 */
 //读取每一幅图像，从中提取出角点，然后对角点进行亚像素精确化 
 cout << "开始提取角点………………"<<endl;
 int image_count = 0;  /* 图像数量 */
 Size image_size;  /* 图像的尺寸 */
 Size board_size = Size(4, 6);    /* 标定板上每行、列的角点数 */     // 注意！这里得参数因图像而异
 vector<Point2f> image_points_buf;  /* 缓存每幅图像上检测到的角点 */
 vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */
 string filename;
 //int count = -1;//用于存储角点个数。
 while (getline(fin, filename))
  {
  image_count++;
  // 用于观察检验输出
  cout << "image_count = " << image_count << ", and image_name = " << filename << endl;
  /* 输出检验*/
  //cout << "-->count = " << count << endl;
  Mat imageInput = imread(filename);
  if (image_count == 1)  //读入第一张图片时获取图像宽高信息
  {
   image_size.width = imageInput.cols;
   image_size.height = imageInput.rows;
   cout << "image_size.width = " << image_size.width << endl;
   cout << "image_size.height = " << image_size.height << endl;
  }
  /* 提取角点 */
  if (0 == findChessboardCorners(imageInput, board_size, image_points_buf))
  {
   cout << "can not find chessboard corners!\n"; //找不到角点
   exit(1);
  }
  else
  {
   Mat view_gray;
   cvtColor(imageInput, view_gray, CV_RGB2GRAY);
   /* 亚像素精确化 */
   find4QuadCornerSubpix(view_gray, image_points_buf, Size(5, 5)); //对粗提取的角点进行精确化
   image_points_seq.push_back(image_points_buf);  //保存亚像素角点
   /* 在图像上显示角点位置 */
   drawChessboardCorners(view_gray, board_size, image_points_buf, true); //用于在图片中标记角点
   imshow("Camera Calibration", view_gray);//显示图片
   waitKey(500);//暂停0.5S  
  }
 }
 int total = image_points_seq.size();
 cout << "total = " << total << endl;
 int CornerNum = board_size.width*board_size.height;  //每张图片上总的角点数
 for (int ii = 0; ii<total; ii++)
 {
  if (0 == ii%CornerNum)// 24 是每幅图片的角点个数。此判断语句是为了输出 图片号，便于控制台观看 
  {
   int i = -1;
   i = ii / CornerNum;
   int j = i + 1;
   cout << "--> 第 " << j << "图片的数据 --> : " << endl;
  }
  if (0 == ii % 3) // 此判断语句，格式化输出，便于控制台查看
  {
   cout << endl;
  }
  else
  {
   cout.width(10);
  }
  //输出所有的角点
  cout << " -->" << image_points_seq[ii][0].x;
  cout << " -->" << image_points_seq[ii][0].y;
 }
 cout << "角点提取完成！\n";

 //以下是摄像机标定
 cout << "开始标定………………";
 /*棋盘三维信息*/
 Size square_size = Size(10, 10);  /* 实际测量得到的标定板上每个棋盘格的大小 */
 vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 */
 /*内外参数*/
 Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */
 vector<int> point_counts;  // 每幅图像中角点的数量
 Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数：k1,k2,p1,p2,k3 */
 vector<Mat> tvecsMat;  /* 每幅图像的旋转向量 */
 vector<Mat> rvecsMat; /* 每幅图像的平移向量 */
 /* 初始化标定板上角点的三维坐标 */
 int i, j, t;
 for (t = 0; t<image_count; t++)
 {
  vector<Point3f> tempPointSet;
  for (i = 0; i<board_size.height; i++)
  {
   for (j = 0; j<board_size.width; j++)
   {
    Point3f realPoint;
    /* 假设标定板放在世界坐标系中z=0的平面上 */
    realPoint.x = i*square_size.width;
    realPoint.y = j*square_size.height;
    realPoint.z = 0;
    tempPointSet.push_back(realPoint);
   }
  }
  object_points.push_back(tempPointSet);
 }
 /* 初始化每幅图像中的角点数量，假定每幅图像中都可以看到完整的标定板 */
 for (i = 0; i<image_count; i++)
 {
  point_counts.push_back(board_size.width*board_size.height);
 }
 /* 开始标定 */
 calibrateCamera(object_points, image_points_seq, image_size, cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0);
 cout << "标定完成！\n";
 //对标定结果进行评价
 cout << "开始评价标定结果………………\n";
 double total_err = 0.0; /* 所有图像的平均误差的总和 */
 double err = 0.0; /* 每幅图像的平均误差 */
 vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */
 cout << "\t每幅图像的标定误差：\n";
 fout << "每幅图像的标定误差：\n";
 for (i = 0; i<image_count; i++)
 {
  vector<Point3f> tempPointSet = object_points[i];
  /* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */
  projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2);
  /* 计算新的投影点和旧的投影点之间的误差*/
  vector<Point2f> tempImagePoint = image_points_seq[i];
  Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2);
  Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2);
  for (int j = 0; j < tempImagePoint.size(); j++)
  {
   image_points2Mat.at<Vec2f>(0, j) = Vec2f(image_points2[j].x, image_points2[j].y);
   tempImagePointMat.at<Vec2f>(0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y);
  }
  err = norm(image_points2Mat, tempImagePointMat, NORM_L2);
  total_err += err /= point_counts[i];
  std::cout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl;
  fout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl;
 }
 std::cout << "总体平均误差：" << total_err / image_count << "像素" << endl;
 fout << "总体平均误差：" << total_err / image_count << "像素" << endl << endl;
 std::cout << "评价完成！" << endl;
 //保存定标结果   
 std::cout << "开始保存定标结果………………" << endl;
 Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */
 fout << "相机内参数矩阵：" << endl;
 fout << cameraMatrix << endl << endl;
 fout << "畸变系数：\n";
 fout << distCoeffs << endl << endl << endl;
 for (int i = 0; i<image_count; i++)
 {
  fout << "第" << i + 1 << "幅图像的旋转向量：" << endl;
  fout << tvecsMat[i] << endl;
  /* 将旋转向量转换为相对应的旋转矩阵 */
  Rodrigues(tvecsMat[i], rotation_matrix);
  fout << "第" << i + 1 << "幅图像的旋转矩阵：" << endl;
  fout << rotation_matrix << endl;
  fout << "第" << i + 1 << "幅图像的平移向量：" << endl;
  fout << rvecsMat[i] << endl << endl;
 }
 std::cout << "完成保存" << endl;
 fout << endl;
 
 return;
}

   注意，上述代码中一般来说有3处需要根据自己的情况修改：

   1-main函数开头的一句话：

ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */<font>

   中的calibration_MI9_image.txt是将拍摄黑白格得到的图像名按行排列在一个txt文件中，该文件名以及文件的内容都需要根据自己的实际内容修改。

   2-main函数开头的一句话：

ofstream fout("calibration_MI9_result.txt");  /* 保存标定结果的文件 */

   中的calibration_MI9_result.txt是相机校正的结果所存放在的一个txt文件中，该文件名需要根据自己的实际内容修改，文件内容由代码产生，无需用户处理。

   3-main函数开头的一句话：

Size board_size = Size(4, 6);    /* 标定板上每行、列的角点数 */     // 注意！这里得参数因图像而异

   其中的4和6分别是打印的黑白格点图中横竖角点的数目。例如在图2中，横竖角点的数目分别是4和6（只有两块黑色方格对角分布构成的才算角点），因此图2中一共有24个角点：

图2 黑白格点图中的角点

3 VS2013下配置openCV

   由于选用的相机标定代码是C++写的，因此选择在Windows系统下配置VS2013和openCV。关于Windows系统下配置VS2013和openCV的资料和博客网上非常多，就不再赘述了，这里就只记录几点我在配环境时踩过的坑。

   1-在往系统中添加环境变量时记得把64位和32位的都添加进去；
   2-在VS软件中需要配置的地方有：(1)属性-VC++目录-包含目录，(2)属性-VC++目录-库目录，(3)属性-链接器-输入-附加依赖项；
   3-保险起见，在配置“属性-链接器-输入-附加依赖项”时，最好不要把debug版本的lib和release版本的lib同时添加进去，因为在大多数情况下我们只会用到debug版本。即使要添加，也应该将所有的debug版本的lib和release版本的lib分开写，千万不能一个XXX.lib，一个XXXd.lib交替着写（根据我的经验，交替写会报出莫名其妙的错误）；
   4-VS的版本和openCV中cv文件夹的版本是这样对应的：VS2010—vc10，VS2012—vc11，VS2013—vc12，不同的VS版本应该选用不同的vc文件夹；
   5-其他……想起来再说。

4 标定过程与结果

   首先，从不同角度拍摄黑白格点图，并依次命名，如图3所示：

图3 从不同角度拍摄黑白格点图并依次命名

 
   然后，将这些图片的名字集中到一个txt文件中，如图4所示：

图4 将这些图片的名字集中到一个txt文件中

 
   最后，就可以运行代码了。效果如图5和图6所示：

图5 对某一张拍摄图像的标记 图6 运行过程及结果命令行显示

 
   最终得到的结果可以在同路径下对应txt文件中查看，如图7所示：

图7 运行结果的txt文件部分内容

 
   从图7中可以看出，张正友标定法不仅可以得到相机的内参，包括内参矩阵和畸变系数，也就是图中红色方框标记出来的部分；还可以得到相机的外参，包括旋转矩阵和旋转向量，也就是图7中txt文件没有完全显示出来的下文。

   最后，得到相机的内参后，将其带入SLAM的配置文件，就可以进行后续的工作了。

5 经验总结与注意事项

   相机标定的过程虽然简单（事实上确实很简单，别人把代码都给出来了），但是我也是踩了不少坑（事实上我经常踩坑，就相机标定这个事儿也是别人5分钟我要弄上个两天才好）。因此在这里把遇到的一些坑和解决方案记录下来。

   1-VS2013下配置openCV时，一定要注意在配置“属性-链接器-输入-附加依赖项”时，debug版本的lib和release版本的lib不能交叉添加；
   2-黑白格数量不要太多，形成4*6个交叉点是比较合适的；
   3-确保打印机墨盒存量足够，不要打出来的黑色格子不够黑；往板子上贴的之后要平整；
   4-拍摄时务必注意不要在格纸上有反光；
   5-拍摄角度要不同，但是也别过于倾斜，会造成算法识别不出来。