opencvsharp图像处理_相机标定（2）

标定后得到的圆点阵图

标定后得到的矩形点阵图

在这里插入图片描述

一.相机标定的目的：得到世界坐标系与像素坐标系的正确对应关系；
二.在坐标转换过程中，会用到四个坐标系：世界坐标系（三维），相机坐标系（三维），图像坐标系（二维），像素坐标系（二维）；

小孔成像原理

相机成相

三.相机畸变
常见的畸变有径向畸变和切向畸变
径向畸变，取决于镜片形状（桶形和鱼眼形；图像中心畸变度基本为0，越向外的轮廓畸变度越高）
切向畸变，取决于相机安装各器件同心及平行度（图像梯形）
畸变图：

找到棋盘格角点函数

	FindChessboardCorners(imageInput, board_size, image_points_bufmat)

imageInput：输入的图像
board_size：角点行列个数
image_points_bufmat：记录角点位置的输出矩阵
找到所有角点，函数的返回值设置为true，否则为false

圆点阵寻找圆心函数

FindCirclesGrid(imageInput, board_size, image_points_bufmat,FindCirclesGridFlags.AsymmetricGrid)

imageInput ：输入图像
board_size ：图像行列数
image_points_bufmat：圆心位置输出矩阵
FindCirclesGridFlags.AsymmetricGrid：非对称网格

对粗提取的角点进行亚像素精确化函数

	Find4QuadCornerSubpix(view_gray, image_points_bufmat, new Size(11, 11));

view_gray：输入图像
image_points_bufmat：输出图像
new Size(11, 11) 角点搜索窗口的尺寸，这个窗口主要用作 交点 的精定位。往往标定用的黑白棋盘格交点，已经提取到了坐标，但是，有的坐标不是最优解，那么为了保证精度，就基于提取到的交点坐标，框出来一个窗口，单独对窗口内的像素点做处理，重新计算交点的坐标，这一步可以称为 精定位。

绘制棋盘角点函数

	DrawChessboardCorners(view_gray, board_size, image_points_bufmat, true)

如果没有找到所有角点，可用的角点被表示为小的红色圆圈；如果整个图案上角点都找到，那么角点将会被绘制成不同的颜色（每一行都有自己的颜色），并将角点以一定顺序用线连起来
view_gray：要绘制的图像，要画带颜色的圆，就选取8位的彩色图像
board_size：角点的行列个数
image_points_bufmat：记录角点位置的输出矩阵
true：是否所有的点都被找到，我的程序设置的是FindChessboardCorners的函数返回值

标定函数用来计算内参矩阵和畸变向量

CalibrateCamera(object_pointsmat, image_points_seqmat
            , image_size, cameraMatrixMat, distCoeffsMat, out tvecsMat, out rvecsMat);

object_pointsmat ：世界坐标系下的点
imagePoints ： 图像坐标系下的点
image_size ：图像的大小
cameraMatrixMat ：内参矩阵
distCoeffsMat ：畸变系数
tvecsMat ：旋转向量
rvecsMat ：位移向量；

矫正图像函数

Undistort(imageSource, newimage, cameraMatrixMat, distCoeffsMat); 

imageSource：输入图像
newimage：输出图像
cameraMatrixMat：内参矩阵
distCoeffsMat：畸变系数

张正友标定棋盘格opencvsharp程序
using OpenCvSharp;
using OpenCvSharp.Extensions;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
using Point = OpenCvSharp.Point;
using Size = OpenCvSharp.Size;

namespace cail
{
    public partial class cail11 : Form
    {
        public cail11()
        {
            InitializeComponent();
        }
        private void button1_Click(object sender, EventArgs e)
        {  
            // 图像数量
            int image_count = 0;
            Size image_size=new Size(1280,720 );  // 图像的尺寸
            OpenCvSharp.Size board_size =new OpenCvSharp.Size(6, 4); // 标定板角点的行列个数
            int CornerNum = board_size.Width * board_size.Height; //每张图片上总的角点数
            string[] files = System.IO.Directory.GetFiles("pictures");
            Mat[] image_points_seqmat = new Mat[files.Length]; // 存储所有图片的角点
            Mat image_points_bufmat = new Mat();
            Mat view_gray = new Mat();// 获取灰度图

            for (int s = 0; s < files.Length; s++)
            {
                Mat imageInput = new Mat(files[s], ImreadModes.AnyColor);
                if (image_count == 0)  // 获得图像尺寸
                {
                    image_size.Width = imageInput.Cols;
                    image_size.Height = imageInput.Rows; 
                }
            
                //输入的图像 角点行列个数 输出的图像
                //如果检测到了与原图有不相同的角点，结束当前函数
                if (!Cv2.FindChessboardCorners(imageInput, board_size, image_points_bufmat))
                {
                    return;
                }
                else
                {
                    Cv2.CvtColor(imageInput, view_gray, ColorConversionCodes.RGB2GRAY);
                    // 对粗提取的角点进行亚像素精确化
                    Cv2.Find4QuadCornerSubpix(view_gray, image_points_bufmat, new Size(11, 11));
                    image_points_seqmat[s] = (image_points_bufmat);
                    Cv2.CvtColor(view_gray, view_gray, ColorConversionCodes.GRAY2RGB);
                    // 在图像上显示角点位置
                    Cv2.DrawChessboardCorners(view_gray, board_size, image_points_bufmat, true); //用于在图片中标记角点
                    Cv2.ImShow("111", view_gray);
                }
                image_count++;
            }       
           Size square_size =new Size(4, 4);  // 世界坐标系下 黑白块宽度  4cm
         
           Mat[] object_pointsmat = new Mat[image_count];       
            Mat[] rvecsMat = new Mat[0];  // 旋转向量
            Mat[] tvecsMat = new Mat[0]; // 平移矩阵
            Mat cameraMatrixMat = new Mat(3,3,MatType.CV_32FC1);
            Mat distCoeffsMat = new Mat(1,5, MatType.CV_32FC1);
            int i, j, t;

            for (t = 0; t < image_count; t++)//6张图
            {
                List<Point3f> tempPointSet=new List<Point3f>();
                Mat mm = new Mat();
                for (i = 0; i < board_size.Height; i++)//4列
                {                
                    for (j = 0; j < board_size.Width; j++)//6行
                    {
                        Point3f realPoint=new Point3f();
                        //假设标定板放在世界坐标系中z=0的平面上
                        realPoint.X = j * square_size.Width;
                        realPoint.Y = i * square_size.Height;
                        realPoint.Z = 0;
                        mm.Add( realPoint);
                        tempPointSet.Add(realPoint);
                    }
                }  
                object_pointsmat[t]=(mm);
            }
            //object_points 世界坐标系下的点 imagePoints 图像坐标系下的点
            //图像中的点的位置 内参矩阵 畸变矩阵 内参数的输出向量 外参数的输出向量 每个标定图片的重投影均方根误差的输出向量
            Cv2.CalibrateCamera(object_pointsmat, image_points_seqmat
                , image_size, cameraMatrixMat, distCoeffsMat, out tvecsMat, out rvecsMat,CalibrationFlags.None
                );
            //*********************  检验标定效果  **********************
            double total_err = 0.0; // 所有图像的平均误差的总和
            double err = 0.0; // 每幅图像的平均误差
            int count = 0;
            for (i = 0; i < image_count; i++)
            {
                Mat image_points = new Mat();
                Cv2.ProjectPoints(
                   object_pointsmat[i], tvecsMat[i], rvecsMat[i]
                      
                     , cameraMatrixMat, distCoeffsMat,
                     image_points
                  );
                err = Cv2.Norm(image_points, image_points_seqmat[i], NormTypes.L2);
                total_err += err /= CornerNum;
                listBox1.Items.Insert(0, i + 1 + "幅图像的平均误差：" + err + "像素");
            }
            for (i = 2; i < image_count; i++)
            {
                if (count > 0)
                    break;
                Mat rotation_matrixmat = new Mat();
                Cv2.Rodrigues(rvecsMat[i], rotation_matrixmat);
                Mat imageSource = new Mat(files[i]);
                pictureBox1.Image = imageSource.ToBitmap();
                Mat newimage = new Mat();  
                //原图 矫正后图像 内参矩阵 畸变系数
                Cv2.Undistort(imageSource, newimage, cameraMatrixMat, distCoeffsMat);    
                pictureBox2.Image = newimage.ToBitmap();
                count++;
            }
        }
    }
}