目录
Cv2.FindChessboardCorners：检测角点
Cv2.DrawChessboardCorners：绘制角点
前言
相机标定是指确定相机内参和畸变参数的过程，而图像矫正则是对图像进行去畸变操作，以提高图像质量和准确性。
相机标定是的目标是确定相机的内部参数，如焦距、主点坐标，以及外部参数，如旋转和平移矩阵。通过在已知场景中拍摄棋盘格等结构物体，利用图像中的特征点，可以利用相机标定技术得到相机的准确内外参数，从而提高图像处理的精度和可靠性。
图像矫正是在相机标定的基础上进行的。由于相机透镜的制造和安装等原因，图像中的畸变是不可避免的。这种畸变表现为图像中直线弯曲、角点失真等现象。图像矫正通过对图像进行几何变换，消除或减小这些畸变，使图像更符合几何规律，有助于提高后续图像处理的准确性和稳定性。
核心函数：
Cv2.FindChessboardCorners：检测角点
bool FindChessboardCorners(
Mat image,
Size patternSize,
out Point2f[] corners,
ChessboardFlags flags =
ChessboardFlags.AdaptiveThresh | ChessboardFlags.NormalizeImage);
-
image: 输入图像，应该是灰度图像。 -
patternSize: 棋盘格内角点的数量，Size对象，例如new Size(columns, rows)。 -
corners: 输出参数，用于存储检测到的内角点的数组。 -
flags: 一些标志位，用于指定棋盘格检测的一些参数。在这里，AdaptiveThresh表示使用自适应阈值，NormalizeImage表示对图像进行归一化处理。你可以根据需要进行调整。
Cv2.DrawChessboardCorners：绘制角点
Cv2.DrawChessboardCorners(Mat image, Size patternSize,
Mat corners, bool patternWasFound);
-
Mat image： 输入图像，是一个Mat对象。 -
Size patternSize： 棋盘格的尺寸，用于指定棋盘格上的行数和列数。 -
Mat corners： 包含棋盘格角点的Mat对象。这通常是通过Cv2.FindChessboardCorners检测到的角点。 -
bool patternWasFound： 一个标志，指示是否成功检测到整个棋盘格。如果检测成功，就传递true；否则，传递false。
Cv2.CalibrateCamera：相机标定
double Cv2.CalibrateCamera(
Mat[] objectPoints,
Mat[] imagePoints,
Size imageSize,
Mat cameraMatrix,
Mat distCoeffs,
out Mat[] rvecs,
out Mat[] tvecs,
CalibrationFlags flags = CalibrationFlags.ZeroTangentDist | CalibrationFlags.FixK3,
TermCriteria criteria = null );
-
objectPoints: 世界坐标系中的三维点，这些点对应于棋盘格的内角点。这是一个Mat[]数组，每个元素都包含一个图像的三维点坐标。 -
imagePoints: 图像上对应于objectPoints的二维点。这是一个Mat[]数组，每个元素都包含一个图像的二维点坐标。 -
imageSize: 输入图像的大小。 -
cameraMatrix: 输出参数，相机内参矩阵。 -
distCoeffs: 输出参数，畸变系数。 -
rvecs: 输出参数，旋转向量的数组。 -
tvecs: 输出参数，平移向量的数组。 -
flags: 标志位，用于指定标定的一些参数，例如是否考虑切向畸变等。 -
criteria: 标定终止的准则，它是一个TermCriteria类型的对象，用于指定算法的终止条件，例如最大迭代次数。
该方法返回标定的均方根误差（RMS误差），是所有图像中重投影误差的平均值的平方根。
Cv2.GetOptimalNewCameraMaxtrix() :获取最佳新相机矩阵
public static Mat GetOptimalNewCameraMatrix(
Mat cameraMatrix, Mat distCoeffs,
Size imageSize, double alpha,
Size newImgSize, out Rect validPixROI)
cameraMatrix: 输入的相机内参矩阵。distCoeffs: 输入的相机畸变系数。imageSize: 输入图像的尺寸。alpha: 缩放因子，控制校正图像中有效像素的范围。如果alpha是负数，将会保留所有有效像素，如果是正数，会裁剪掉无效像素，同时保留尽可能多的有效像素。newImgSize: 新图像的尺寸，可以保持原始图像尺寸或者根据需要调整。validPixROI: 输出参数，表示畸变校正后图像中的有效像素区域。- 这个方法的返回值是新的相机矩阵
Mat
源码（注释详细）：
using OpenCvSharp;
using System;
using System.Collections.Generic;
namespace 相机棋盘格矫正
{
class Program
{
// 定义静态变量，用于设置棋盘格的宽度和高度
private static int BoardSize_Width = 9;
private static int BoardSize_Height = 6;
private static Size BoardSize = new Size(BoardSize_Width, BoardSize_Height);
// 定义静态变量，用于设置每个方格的宽度
private static int SquareSize = 50;
private static int winSize = 11;
static void Main(string[] args)
{
// 运行标定相机的逻辑
Run();
}
// 标定相机的主要逻辑
private static void Run()
{
// 存储图像文件路径
List<string> imagesList = new List<string>() {
@"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left01.jpg",
// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left02.jpg",
// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left03.jpg",
// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left04.jpg",
// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left05.jpg"
};
// 存储每个图像的棋盘角点
List<Point2f[]> imagesPoints = new List<Point2f[]>();
// 相机内参矩阵和畸变系数
Mat cameraMatrix = new Mat(), distCoeffs = new Mat();
// 图像的尺寸
Size imageSize = new Size();
bool found = false;
// 存储角点坐标的 Mat 数组
Mat[] imagesPointsM = new Mat[imagesList.Count];
// 遍历图像列表
foreach (var imagePath in imagesList)
{
// 读取图像
Mat view = new Mat(imagePath);
if (!view.Empty())
{
imageSize = view.Size();
Point2f[] pointBuf;
// 查找棋盘角点
found = Cv2.FindChessboardCorners(view, BoardSize, out pointBuf, ChessboardFlags.AdaptiveThresh | ChessboardFlags.NormalizeImage);
if (found)
{
// 灰度化
Mat viewGray = new Mat();
Cv2.CvtColor(view, viewGray, ColorConversionCodes.BGR2GRAY);
// 亚像素精确化
Cv2.CornerSubPix(viewGray, pointBuf, new Size(winSize, winSize), new Size(-1, -1), new TermCriteria(CriteriaTypes.Eps | CriteriaTypes.Count, 30, 0.0001));
// 存储角点坐标
imagesPoints.Add(pointBuf);
Mat p = Mat.FromArray<Point2f>(pointBuf);
imagesPointsM[imagesList.IndexOf(imagePath)] = p;
// 在图像上绘制角点
Cv2.DrawChessboardCorners(view, BoardSize, pointBuf, found);
Mat temp = view.Clone();
Cv2.ImShow("Image View", view);
Cv2.WaitKey(500);
}
}
}
Mat[] rvecs = new Mat[0];
Mat[] tvecs = new Mat[0];
// 运行相机标定
RunCalibration(imagesList.Count, imageSize, out cameraMatrix, out distCoeffs, imagesPointsM, out rvecs, out tvecs, out double totalAvgErr);
// 打印相机矩阵、畸变系数和平均误差
Console.WriteLine("相机矩阵：\n{0}", Cv2.Format(cameraMatrix)+"\n");
Console.WriteLine("畸变系数:\n{0}", Cv2.Format(distCoeffs) + "\n");
Console.WriteLine("平均误差:\n{0}", totalAvgErr + "\n");
// 畸变校正
Mat map1 = new Mat();
Mat map2 = new Mat();
Mat newCameraMatrix = Cv2.GetOptimalNewCameraMatrix(cameraMatrix, distCoeffs, imageSize, 1, imageSize, out Rect roi);
Cv2.InitUndistortRectifyMap(cameraMatrix, distCoeffs, new Mat(), newCameraMatrix, imageSize, MatType.CV_16SC2, map1, map2);
// 遍历图像并显示校正后的图像
foreach (var imagePath in imagesList)
{
Mat view = Cv2.ImRead(imagePath, ImreadModes.Color);
Mat rview = new Mat();
if (view.Empty())
continue;
// 校正
Cv2.Remap(view, rview, map1, map2, InterpolationFlags.Linear);
Cv2.ImShow("Image RView", rview);
Cv2.WaitKey(500);
}
Cv2.WaitKey();
}
// 运行相机标定
private static void RunCalibration(int imagesCount, Size imageSize, out Mat cameraMatrix, out Mat distCoeffs, Mat[] imagePoints, out Mat[] rvecs, out Mat[] tvecs, out double totalAvgErr)
{
// 初始化相机矩阵和畸变系数
cameraMatrix = Mat.Eye(new Size(3, 3), MatType.CV_64F);
distCoeffs = Mat.Zeros(new Size(8, 1), MatType.CV_64F);
// 计算棋盘角点的世界坐标
Mat[] objectPoints = CalcBoardCornerPositions(BoardSize, SquareSize, imagesCount);
// 进行相机标定
double rms = Cv2.CalibrateCamera(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs, out rvecs, out tvecs, CalibrationFlags.None);
// 检查相机矩阵和畸变系数的范围
bool ok = Cv2.CheckRange(InputArray.Create(cameraMatrix)) && Cv2.CheckRange(InputArray.Create(distCoeffs));
// 计算重投影误差
totalAvgErr = ComputeReprojectionErrors(objectPoints, imagePoints, rvecs, tvecs, cameraMatrix, distCoeffs);
}
// 计算棋盘角点的世界坐标
private static Mat[] CalcBoardCornerPositions(Size BoardSize, float SquareSize, int imagesCount)
{
Mat[] corners = new Mat[imagesCount];
// 遍历每张图片
for (int k = 0; k < imagesCount; k++)
{
Point3f[] p = new Point3f[BoardSize.Height * BoardSize.Width];
for (int i = 0; i < BoardSize.Height; i++)
{
for (int j = 0; j < BoardSize.Width; j++)
{
// 计算每个格子的三维坐标并储存在一维数组 p 中
p[i * BoardSize.Width + j] = new Point3f(j * SquareSize, i * SquareSize, 0);
}
}
// 将三维坐标转换成 Mat 类型并存储再 corners 数组中
corners[k] = Mat.FromArray<Point3f>(p);
}
return corners;
}
// 计算重投影误差
private static double ComputeReprojectionErrors(Mat[] objectPoints, Mat[] imagePoints, Mat[] rvecs, Mat[] tvecs, Mat cameraMatrix, Mat distCoeffs)
{
Mat imagePoints2 = new Mat();
int totalPoints = 0;
double totalErr = 0, err;
for (int i = 0; i < objectPoints.Length; ++i)
{
Cv2.ProjectPoints(objectPoints[i], rvecs[i], tvecs[i], cameraMatrix, distCoeffs, imagePoints2);
err = Cv2.Norm(imagePoints[i], imagePoints2, NormTypes.L2);
int n = objectPoints[i].Width * objectPoints[i].Height;
totalErr += err * err;
totalPoints += n;
}
return Math.Sqrt(totalErr / totalPoints);
}
}
}
结果：
demo:
提取码：axjq
当项目只包含代码文件而没有解决方案文件时，可以手动创建一个解决方案，并将项目添加到解决方案中：
-
创建解决方案文件：
- 打开 Visual Studio。
- 点击 Visual Studio 的“文件”（File）菜单。
- 选择“新建”（New）-> “项目”（Project）。
- 在项目类型中，选择“其他项目类型” -> “Visual Studio 解决方案” -> “空白解决方案”。
- 输入解决方案的名称，选择保存的位置，然后点击“确定”按钮。
-
将项目添加到解决方案中：
- 在解决方案资源管理器中（一般在 Visual Studio 左侧），右键单击解决方案，选择“添加” -> “现有项目”。
- 在弹出的对话框中，浏览到你的项目所在的文件夹，选择项目文件（一般是
.csproj文件），然后点击“添加”。
-
设置启动项目（可选）：
- 如果你的项目是一个控制台应用或者类库，你可以设置启动项目。
- 右键单击解决方案中的一个项目，选择“设为启动项目”。
-
构建和运行：
- 构建解决方案：点击 Visual Studio 的“生成”（Build）菜单，选择“生成解决方案”。
- 运行项目：按下
F5键或者点击工具栏上的“开始调试”按钮。
扫一扫
769
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
