1.图像畸变
相机成像可以分为四个步骤：刚体变换、透视投影、畸变校正和数字化图像。
相机的图像有时候会出现畸变严重现象，畸变指真实成像点与理想成像点间的偏移，产生原因是镜头工艺的不完美，从而导致了不规则的折射。
修正图像需要相机两种参数：
- 相机的内部参数。例如镜头的焦距，光学中心和径向畸变系数。
- 外部参数：这是指摄像机相对于某些世界坐标系的方向（旋转和平移）
通过校准可以改善畸变，图像不失真，接近真实图像，另外，还可以确定相机的自然单位（像素）与实际单位之间的关系（例如毫米），这样标定后就知道图像内物体的大小尺寸。
2.相机校准的流程步骤
- 步骤1：采集棋盘格图像（10张以上），并预处理
- 步骤2：找出棋盘格角点坐标
- 步骤3：进一步提取亚像素角点信息
- 步骤4：计算出相机内参数矩阵和畸变系数
- 步骤5：畸变图像校准
步骤1：采集棋盘格图像（10张以上），并预处理
对于采集图像，方法是手里拿着A4纸打印的棋盘格，对着相机变换不同的方角度，采集十张以上；或者棋盘格放到桌上，拿着相机从不同角度一通拍摄。
为了演示这里用手机拍了十五张：
每张照片是3968x2976（宽x高），先进行下预处理把尺寸压缩四倍：
#include "stdafx.h"
#include<opencv2/opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
Mat image;
int main()
{
vector<String> images_path;//创建容器存放读取图像路径
string image_path = "D:/work_c++/image/chessboardimage/*.jpg";//待处理图路径
glob(image_path, images_path);//读取指定文件夹下图像
char saveimage[100];
for (int i = 0; i < images_path.size(); i++)
{
image = imread(images_path[i]);
resize(image, image, Size(992, 744));//调整大小
sprintf_s(saveimage, "D:/work_c++/image/temp/%d.jpg", i + 1);//数据格式化输出到字符串，图像存储路径
imwrite(saveimage, image);//保存
}
return 0;
}
结果：
步骤2：找出棋盘格角点坐标
这里棋盘格每行每列的内角数是（5，7）
主要函数：
- findChessboardCorners函数
//! finds checkerboard pattern of the specified size in the image
CV_EXPORTS_W bool findChessboardCorners( InputArray image, Size patternSize,
OutputArray corners,
int flags=CALIB_CB_ADAPTIVE_THRESH+CALIB_CB_NORMALIZE_IMAGE );
/*
第一个参数Image，传入拍摄的棋盘图Mat图像，必须是8位的灰度或者彩色图像；
第二个参数patternSize，每个棋盘图上内角点的行列数，一般情况下，行列数不要相同，便于后续标定程序识别标定板的方向；
第三个参数corners，用于存储检测到的内角点图像坐标位置，一般用元素是Point2f的向量来表示：vector<Point2f> image_points_buf;
第四个参数flage：用于定义棋盘图上内角点查找的不同处理方式，有默认值。
*/
步骤3：进一步提取亚像素角点信息
主要函数：
- cornerSubPix函数
//! adjusts the corner locations with sub-pixel accuracy to maximize the certain cornerness criteria
CV_EXPORTS_W void cornerSubPix( InputArray image, InputOutputArray corners,
Size winSize, Size zeroZone,
TermCriteria criteria );
/*
第一个参数image，输入的Mat矩阵，最好是8位灰度图像，检测效率更高；
第二个参数corners，初始的角点坐标向量，同时作为亚像素坐标位置的输出，所以需要是浮点型数据，一般用元素是Pointf2f/Point2d的向量来表示：vector<Point2f/Point2d> iamgePointsBuf；
第三个参数winSize，大小为搜索窗口的一半；
第四个参数zeroZone，死区的一半尺寸，死区为不对搜索区的中央位置做求和运算的区域。它是用来避免自相关矩阵出现某些可能的奇异性。当值为（-1，-1）时表示没有死区；
第五个参数criteria，定义求角点的迭代过程的终止条件，可以为迭代次数和角点精度两者的组合；
*/
步骤4：计算出相机内参数矩阵和畸变系数
主要函数：
- calibrateCamera函数
//! finds intrinsic and extrinsic camera parameters from several fews of a known calibration pattern.
CV_EXPORTS_W double calibrateCamera( InputArrayOfArrays objectPoints,
InputArrayOfArrays imagePoints,
Size imageSize,
CV_OUT InputOutputArray cameraMatrix,
CV_OUT InputOutputArray distCoeffs,
OutputArrayOfArrays rvecs, OutputArrayOfArrays tvecs,
int flags=0, TermCriteria criteria = TermCriteria(
TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON)
/*
第一个参数objectPoints，为世界坐标系中的三维点。在使用时，应该输入一个三维坐标点的向量的向量，即vector<vector<Point3f>> object_points。需要依据棋盘上单个黑白矩阵的大小，计算出（初始化）每一个内角点的世界坐标。
第二个参数imagePoints，为每一个内角点对应的图像坐标点。和objectPoints一样，应该输入vector<vector<Point2f>> image_points_seq形式的变量；
第三个参数imageSize，为图像的像素尺寸大小，在计算相机的内参和畸变矩阵时需要使用到该参数；
第四个参数cameraMatrix为相机的内参矩阵。输入一个Mat cameraMatrix即可，如Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0));
第五个参数distCoeffs为畸变矩阵。输入一个Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0))即可；
第六个参数rvecs为旋转向量；应该输入一个Mat类型的vector，即vector<Mat>rvecs;
第七个参数tvecs为位移向量，和rvecs一样，应该为vector<Mat> tvecs；
第八个参数flags为标定时所采用的算法。有如下几个参数：
CV_CALIB_USE_INTRINSIC_GUESS：使用该参数时，在cameraMatrix矩阵中应该有fx,fy,u0,v0的估计值。否则的话，将初始化(u0,v0）图像的中心点，使用最小二乘估算出fx，fy。
CV_CALIB_FIX_PRINCIPAL_POINT：在进行优化时会固定光轴点。当CV_CALIB_USE_INTRINSIC_GUESS参数被设置，光轴点将保持在中心或者某个输入的值。
CV_CALIB_FIX_ASPECT_RATIO：固定fx/fy的比值，只将fy作为可变量，进行优化计算。当CV_CALIB_USE_INTRINSIC_GUESS没有被设置，fx和fy将会被忽略。只有fx/fy的比值在计算中会被用到。
CV_CALIB_ZERO_TANGENT_DIST：设定切向畸变参数（p1,p2）为零。
CV_CALIB_FIX_K1,…,CV_CALIB_FIX_K6：对应的径向畸变在优化中保持不变。
CV_CALIB_RATIONAL_MODEL：计算k4，k5，k6三个畸变参数。如果没有设置，则只计算其它5个畸变参数。
第九个参数criteria是最优迭代终止条件设定。
在使用该函数进行标定运算之前，需要对棋盘上每一个内角点的空间坐标系的位置坐标进行初始化，标定的结果是生成相机的内参矩阵cameraMatrix、相机的5个畸变系数distCoeffs，另外每张图像都会生成属于自己的平移向量和旋转向量。
*/
步骤5：畸变图像校准
主要函数：
- undistort函数
//! corrects lens distortion for the given camera matrix and distortion coefficients
CV_EXPORTS_W void undistort( InputArray src, OutputArray dst,
InputArray cameraMatrix,
InputArray distCoeffs,
InputArray newCameraMatrix=noArray() );
/*
第一个参数src，输入参数，代表畸变的原始图像；
第二个参数dst，矫正后的输出图像，跟输入图像具有相同的类型和大小；
第三个参数cameraMatrix为之前求得的相机的内参矩阵；
第四个参数distCoeffs为之前求得的相机畸变矩阵；
第五个参数newCameraMatrix，默认跟cameraMatrix保持一致；
方法一相比方法二执行效率更高一些，推荐使用
*/
3.代码实现
环境：
- OpenCV3.4.1
- vs2015
// CheckerBoardDemo.cpp : 定义控制台应用程序的入口点。
//
#include "stdafx.h"
#include<opencv2/opencv.hpp>
#include<iostream>
using namespace cv;
using namespace std;
Mat image,img_gray;
int BOARDSIZE[2]{ 5,7 };//棋盘格每行每列角点个数
int main()
{
vector<vector<Point3f>> objpoints_img;//保存棋盘格上角点的三维坐标
vector<Point3f> obj_world_pts;//三维世界坐标
vector<vector<Point2f>> images_points;//保存所有角点
vector<Point2f> img_corner_points;//保存每张图检测到的角点
vector<String> images_path;//创建容器存放读取图像路径
string image_path = "D:/work_c++/image/temp/*.jpg";//待处理图路径
glob(image_path, images_path);//读取指定文件夹下图像
//转世界坐标系
for (int i = 0; i < BOARDSIZE[1]; i++)
{
for (int j = 0; j < BOARDSIZE[0]; j++)
{
obj_world_pts.push_back(Point3f(j, i, 0));
}
}
for (int i = 0; i < images_path.size(); i++)
{
image = imread(images_path[i]);
cvtColor(image, img_gray, COLOR_BGR2GRAY);
//检测角点
bool found_success = findChessboardCorners(img_gray, Size(BOARDSIZE[0], BOARDSIZE[1]),
img_corner_points,
CV_CALIB_CB_ADAPTIVE_THRESH | CV_CALIB_CB_FAST_CHECK | CV_CALIB_CB_NORMALIZE_IMAGE);
//显示角点
if (found_success)
{
//迭代终止条件
TermCriteria criteria(CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 30, 0.001);
//进一步提取亚像素角点
cornerSubPix(img_gray, img_corner_points, Size(11, 11),
Size(-1, -1), criteria);
//绘制角点
drawChessboardCorners(image, Size(BOARDSIZE[0], BOARDSIZE[1]),img_corner_points,
found_success);
objpoints_img.push_back(obj_world_pts);//从世界坐标系到相机坐标系
images_points.push_back(img_corner_points);
}
char *output = "image";
imshow(output, image);
waitKey(200);
}
/*
计算内参和畸变系数等
*/
Mat cameraMatrix, distCoeffs, R, T;//内参矩阵，畸变系数，旋转量，偏移量
calibrateCamera(objpoints_img, images_points, img_gray.size(),
cameraMatrix, distCoeffs, R, T);
cout << "cameraMatrix:" << endl;
cout << cameraMatrix << endl;
cout << "*****************************" << endl;
cout << "distCoeffs:" << endl;
cout << distCoeffs << endl;
cout << "*****************************" << endl;
cout << "Rotation vector:" << endl;
cout << R << endl;
cout << "*****************************" << endl;
cout << "Translation vector:" << endl;
cout << T << endl;
/*
畸变图像校准
*/
Mat src, dst;
src = imread("D:/work_c++/image/test/test.jpg");
undistort(src, dst, cameraMatrix, distCoeffs);
char *dst_output = "image_dst";
imshow(dst_output, dst);
waitKey(100);
imwrite("D:/work_c++/image/test/result.jpg", dst);
destroyAllWindows();//销毁显示窗口
system("pause");
return 0;
}
4. 结果
4.1 检测角点效果
4.2 内参，畸变系数结果
4.3 畸变图校准测试结果
测试原图：
测试结果图：
注：用手机拍的棋盘格图，在打印棋盘格时，勾选了适应A4纸张，没按实际大小打印，导致棋盘格不是方正的格子，一边3.5cm,一边3.7cm，没有重新制作打印，仅用来测试一下。
另外，这里以一个方格为单位，没有考虑单位长度，若要计算实际的参数，需要乘单位长度。
如程序中改变：
//转世界坐标系
realsize = Size(x,y);//测得实际真实尺寸
for (int i = 0; i < BOARDSIZE[1]; i++)
{
for (int j = 0; j < BOARDSIZE[0]; j++)
{
obj_world_pts.push_back(Point3f(j*realsie.with, i*realsize.height, 0));
}
}
//与计算内参矩阵无关，与计算外参旋转、平移量有关
目前工业相机基本上畸变都非常小，厂家已经做了很多畸变影响消除，用户不用特地去做畸变矫正，一般是便宜的网络摄像头畸变特别大，需要做畸变矫正处理。
Reference：
https://yq.aliyun.com/articles/62472
http://www.opencv.org.cn/opencvdoc/2.3.2/html/doc/tutorials/calib3d/camera_calibration_square_chess/camera_calibration_square_chess.html
https://blog.csdn.net/Crystal_YS/article/details/86582414
扫一扫
2023
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
