手眼标定+CMake编写分享

现在是2022.8.4，七夕，抽出时间更新下博客，分享下最近所学。

手眼标定是测定相机与机械臂末端旋转平移关系的矩阵，具体公式可以看其他博客的原理，当搞明白原理后，在这里，介绍程序编写，emm，个人测量数据可以到达毫米级精度。这篇博客只讨论手眼标定程序，不涉及ros。

1.手眼标定程序

（1）环境

本人系统环境ubuntu18.04，opencv4.5.0，使用张正友标定板，相机分辨率为640*400，深度值为30mm+，图片如下。

 （2）思路

使用张正友标定法计算得到相机内外参数矩阵（或者使用机器人广播的相机参数，该方法更准确），通过PNP的方法计算没张图片的平移旋转矩阵，最后通过calibrateHandEye函数计算内外参数矩阵。

（3）代码

//张正友相机标定，角点检测    
for(int i=1;i<=images_number;i++)
    {
     Mat image=imread(images_path+to_string(i)+String("/color.jpg"));
     Mat output=image.clone();
     image_size.width=image.cols;
     image_size.height=image.rows;
     if(0==findChessboardCorners(image,board_size,image_points_buf))
     {
        cout<<i<<"   can not find chessboard"<<endl;
        exit(1);
     }
     else
     {
        Mat view_gray;
        cvtColor(image,view_gray,COLOR_BGR2GRAY);
        find4QuadCornerSubpix(view_gray,image_points_buf,Size(5,5));
        image_points_seq.push_back(image_points_buf);
        drawChessboardCorners(output,board_size,image_points_buf,false);
     }
    }
    Size square_size = Size(25, 25);  
    vector<vector<Point3f>> object_points;
    Mat cameraMatrix = Mat(3, 3, CV_64FC1);
    vector<int> point_counts;
    Mat distCoeffs = Mat(1, 5, CV_64FC1); 
    vector<Mat> tvecsMat;
    vector<Mat> rvecsMat;
   for (int t = 0; t < images_number; t++)
   {
       vector<Point3f> tempPointSet;
       for (int i = 0; i < board_size.height; i++)
       {
           for (int j = 0; j < board_size.width; j++)
           {
               Point3f realPoint;
               realPoint.x = i * square_size.width;
               realPoint.y = j * square_size.height;
               realPoint.z = 0;
               tempPointSet.push_back(realPoint);
           }
       }
       object_points.push_back(tempPointSet);
   }
    calibrateCamera(object_points, image_points_seq, image_size, cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0);
//pnp
    for(int i=1;i<=images_number;i++)
    {
        Mat rvec,tvec;
        rvec=rvecsMat[i-1];
        tvec=tvecsMat[i-1];
        solvePnP(object_points[i-1],image_points_seq[i-1],cameraMatrix,distCoeffs,rvec,tvec,true);
        Rodrigues(rvec,rvec);
        R_ojb2cam.push_back(rvec);
        T_obj2cam.push_back(tvec/1000);
        Homo_target2cam.push_back(R_T2HomogeneousMatrix(rvec,tvec));
    }
//标定
calibrateHandEye(R_gribber2base,T_gribber2base,R_ojb2cam,T_obj2cam,R_cam2gripper,T_cam2gripper,CALIB_HAND_EYE_PARK);

上述代码是张正友标定法与pnp的实现，pnp的T R矩阵使用张正友标定法的初值，加快迭代速度和提高精度。

 2.CMakeList.txt的编写

虽然ros中自动生成cmakelist文件，但是在面对复杂时还是需要搞懂必要的东西。

（1）首先写cmake的最低版本

cmake_minimum_required（）

（2）项目名

project(calibrate_plate)

（3）使用的三方库，例如opencv

find_package(OpenCV REQUIRED)

include_directories(${OpenCV_INCLUDE_DIRS}）

（4）生成exe和添加链接库

add_executable(hand_eye_board src/calibrate_plate_handeye.cpp)
target_link_libraries(hand_eye_board ${OpenCV_LIBS} )

之后执行cmake命令即可编译。

结尾：最近工作了，加班很晚，很多消息不回，大家多自己思考把。