（一）关于手眼标定理论相关的笔记

已于 2022-04-13 13:21:05 修改
阅读量4.4k 收藏 119
点赞数 12
分类专栏： 手眼标定 文章标签： 手眼标定
于 2022-01-31 20:35:24 首次发布
原文链接：https://blog.csdn.net/qq_27865227/category_11281986.html?spm=1001.2014.3001.5482
版权

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
上图中黄色向下的箭头表示：方程左右两边同时求逆。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

内容

通过手法确定XYZ轴：伸出右手，大拇指是X轴方向，食指是Y轴方向，剩下的四指是Z轴方向。

1.手眼标定的基本介绍

  • 眼指的是相机，手指的是机械臂对应的夹爪。

  • 输入：机械臂位姿可以通过示教器或者SDK进行获取

  • ①眼在手上(eye In hand)：即相机固定在机械臂末端，主要标定相机和机械臂末端的转换矩阵。

  • 标定过程中：标定板放在一个位置中固定不变，标定板和基底的相对位置不变，然后机械臂带着相机在不同的位姿下对标定板进行拍照，拍照的过程中保存当前拍到的标定板图片以及记录图片对应示教器上的世界坐标。

  • 输出：（眼在手上）机械臂末端(夹爪)与相机之间的位姿关系
    在这里插入图片描述
    在这里插入图片描述

  • ②眼在手外(eye To hand)：即相机固定在机械臂以外的地方，主要标定相机和基底坐标系的转换矩阵。

  • 标定过程中：标定板固定在机械臂的法兰盘上，保证标定板和夹爪（法兰盘）的相对位置不变，然后相机和基底的相对位置不变，之后机械臂带着标定板去运动，相机对标定板进行拍照，拍照的过程中保存当前拍到的标定板图片以及记录图片对应示教器上的世界坐标。

  • 输出：（眼在手外）机械臂基座与相机之间的位姿态关系
    在这里插入图片描述
    在这里插入图片描述

2.手眼标定中的坐标系

  • 手眼标定坐标系表示：
  • 机械臂基底坐标系–base
  • 机械臂末端坐标系–end、机械臂末端的夹爪坐标系–gripper、法兰上的工具坐标系–tool（我看了好多资料，这个的叫法都不一样，但意思都差不多，看别人的源码时要搞清楚是哪个坐标系）
  • 相机坐标系–camera
  • 标定板坐标系–board、目标标定板坐标系–target

（手眼标定的实质就是两个点在这四个坐标系中的转换。）

3.相机标定API：calibrateCamera( )

double cv::calibrateCamera	(InputArrayOfArrays objectPoints,
							 InputArrayOfArrays imagePoints,
							 Size imageSize,
							 InputOutputArray cameraMatrix,
							 InputOutputArray distCoeffs,
							 OutputArrayOfArrays rvecs,
							 OutputArrayOfArrays tvecs,
							 OutputArray stdDeviationsIntrinsics,
							 OutputArray stdDeviationsExtrinsics,
							 OutputArray perViewErrors,
							 int flags = 0,
							 TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON) 
)		

double cv::calibrateCamera	(InputArrayOfArrays objectPoints,
                             InputArrayOfArrays imagePoints,
                             Size imageSize,
                             InputOutputArray cameraMatrix,
                             InputOutputArray distCoeffs,
                             OutputArrayOfArrays rvecs,
                             OutputArrayOfArrays tvecs,
                             int flags = 0,
                             TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON) 
)

官网介绍：
https://docs.opencv.org/3.2.0/d9/d0c/group__calib3d.html#ga3207604e4b1a1758aa66acb6ed5aa65d

  • 参数：
  • 输入：objectPoints
    表示世界坐标系中的点。在使用时，类型为vector<vector<Point3f>>，用于保存不同图片标定板上角点的三维坐标。
  • 输入：imagePoints
    表示对应的图像点，即检测到的所有角点，类型为vector<vector<Point2f>>。
  • 输入：imageSize
    标定图像的像素大小，在计算相机的内参数和畸变矩阵需要用到。
  • 输入：cameraMatrix
    相机的内参数矩阵（3×3），输入一个Mat cameraMatrix即可。
  • 输入：distCoeffs
    相机的5个畸变系数：k1,k2,p1,p2,k3，输入一个Mat distCoeffs即可。
  • 输出：rvecs
    输出每张图像(vector<vector<Point3f>>)的旋转向量，类型为vector<Mat> rvecs;。
  • 输出：tvecs
    输出每张图像(vector<vector<Point3f>>)的平移向量，类型为vector<Mat> tvecsMat;。
  • 输出：stdDeviationsIntrinsics
    内参数的输出向量，输出顺序为: (fx,fy,cx,cy,k1,k2,p1,p2,k3,k4,k5,k6,s1,s2,s3,s4,τx,τy) ，如果不估计其中某一个参数，值等于0。
  • 输出：stdDeviationsExtrinsics
    外参数的输出向量，输出顺序: (R1,T1,…,RM,TM) ，M是标定图片的个数, Ri,Ti 是1x3的向量 。
  • 输出：perViewErrors
    表示每张标定图片的重投影均方根误差的输出向量。
  • 输入：flags
    表示不同的标志，可以为0或以下值的组合
    在这里插入图片描述
  • 输入：criteria
    表示迭代优化算法的终止准则。

4.手眼标定API：calibrateHandEye()

#include <opencv2/calib3d.hpp>

cv::calibrateHandEye(InputArrayOfArrays R_gripper2base,
					 InputArrayOfArrays t_gripper2base,
					 InputArrayOfArrays R_target2cam,
					 InputArrayOfArrays t_target2cam,
					 OutputArray R_cam2gripper,
					 OutputArray t_cam2gripper,
					 HandEyeCalibrationMethod method = CALIB_HAND_EYE_TSAI 
)

官网介绍：
https://docs.opencv.org/4.5.3/d9/d0c/group__calib3d.html#gaebfc1c9f7434196a374c382abf43439b

在这里插入图片描述

  • 参数：
  • 输入：R_gripper2base
    描述为将在机械臂末端坐标系（夹爪坐标系，gripper）中的点转换到机器人基坐标系（base）中。表示机械臂末端坐标系（夹爪坐标系，gripper）到机器人基坐标系（base）的变换矩阵中的旋转矩阵部分，包含了3x3的旋转矩阵和3x1的旋转向量。
  • 输入：t_gripper2base
    和R_gripper2base同理，表示的是平移向量的部分。
  • 输入：R_target2cam
    描述为将在目标标定板坐标系（target）中的点转换到相机坐标系（cam）中。表示目标标定板坐标系（target）到相机坐标系（cam）的变换矩阵中的旋转矩阵部分，包含了3x3的旋转矩阵和3x1的旋转向量。
  • 输入：t_target2cam
    和R_target2cam同理，表示的是平移向量的部分。
  • 输出：R_cam2gripper
    描述为将在相机坐标系（cam）中的点转换到机械臂末端坐标系（夹爪坐标系，gripper）中。表示相机坐标系（cam）到机械臂末端坐标系（夹爪坐标系，gripper）的变换矩阵中的旋转矩阵部分，包含了3x3的旋转矩阵和3x1的旋转向量。
  • 输出：t_cam2gripper
    和R_cam2gripper同理，表示的是平移向量的部分。
  • 输入：method = CALIB_HAND_EYE_TSAI
    有五种计算方法，一般选择TSAI。

5.求解的原理过程

推荐看这个视频：【标定】机器人手眼标定-方法及原理
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
  在我的程序中，并未使用OpenCV的solvePnP()函数来计算每张标定板图片的旋转矩阵R和平移向量t。
  而是通过projectPoints()函数得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的二维投影点。
  然后通过Rodrigues()函数将旋转向量转换为相对应的旋转矩阵。
在这里插入图片描述
在这里插入图片描述
在calibrateHandEye()函数中，看下其中的输入输出参数，按字面理解的意思和我程序中的源码不同。。。。。。。。。。回头看看。
在这里插入图片描述
  上图中的公式解读（看着很绕，实际就是点在四个坐标系之间的相互转换）：
     Pb = bT gPg = bTg gTc Pc = bTg gTc cTt Pt

在基地坐标系(base)中的P点位置
= 夹爪坐标系(gripper)到机器人基底坐标系(base)的变换矩阵 乘 在夹爪坐标系(gripper)中的P点位置
= 夹爪坐标系(gripper)到机器人基底坐标系(base)的变换矩阵 乘 相机坐标系(camera)到夹爪坐标系(gripper)的变换矩阵 乘 在相机坐标系(camera)中的P点位置
= 夹爪坐标系(gripper)到机器人基底坐标系(base)的变换矩阵 乘 相机坐标系(camera)到夹爪坐标系(gripper)的变换矩阵 乘 目标标定板坐标系(target)到相机坐标系(camera)的变换矩阵 乘 在目标标定板坐标系(target)中的P点位置

参考博文：
手眼标定calibrateHandEye()
手眼标定源码相关的参考博客：
https://blog.csdn.net/weixin_42203839/article/details/103882739
https://blog.csdn.net/hellohake/article/details/104808149
手眼标定的实际演示：
https://live.csdn.net/v/177543

推荐手眼标定参考的博主：https://blog.csdn.net/qq_27865227/category_11281986.html?spm=1001.2014.3001.5482

弧度和角度之间的转换计算器：http://www.ab126.com/geometric/10631.html
三维旋转转换器：https://www.andre-gaschler.com/rotationconverter/
四元数和欧拉角转换器：https://quaternions.online/

关于手眼标定中的一些名词解释：https://blog.csdn.net/qq_27865227/article/details/119650554
手眼标定中准确性的提高思路：https://blog.csdn.net/qq_27865227/article/details/119650675
手眼标定的源码：https://blog.csdn.net/qq_27865227/article/details/119681638
①相机中心到标定板的距离：　距离越小越好
②每次运动机械臂末端运动的距离：距离越小越好
③尽量采集多组用于求解的数据

boss-dog
关注
  • 12
    点赞
  • 踩
  • 119
    收藏
    觉得还不错? 一键收藏
  • 15
    评论
专栏目录
经典手眼标定方法汇总（matlab程序）
08-21
所谓手眼标定是统一视觉系统和机器人的坐标系，从而可以使视觉系统所确定的物体位姿可以转换到机器人坐标系下，由机械臂完成对物体的作业。 最常见的手眼系统包括Eye-to-Hand和Eye-in-Hand两种。在Eye-to-Hand手眼...
九点标定 opencv 方式实现 手眼标定
10-18
九点标定 opencv 方式实现 C++
手眼标定原理（眼在手上和眼在手外）
热门推荐
hy2014x的博客
06-22 3万+
手眼标定、3D视觉、相机标定、图像处理、机器视觉
手眼标定的两种方式
小白学视觉
06-10 6232
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达 本文转自：新机器视觉一 手眼标定的两种情形首先讲一下在工业应用中，手和眼（摄像机）的两种位置关系，...
机器人手眼标定（九点标定）
最新发布
xieDragonhui的博客
04-24 1816
机器人九点标定
手眼标定原理
zxnzjccmily的博客
05-01 5386
手眼标定
python 手眼标定OpenCV手眼标定（calibrateHandeye()）二
weixin_43134049的博客
02-16 1万+
这一章我们来更具上一章的分析，为手眼标定函数calibrateHandEye 准备他那些麻烦的参数 R,T=cv2.calibrateHandEye(R_all_end_to_base_1,T_all_end_to_base_1,R_all_chess_to_cam_1,T_all_chess_to_cam_1)#手眼标定 一.为首的两个机械臂抓手相对于机器人基坐标系的旋转矩阵与平移向量， 即R_all_end_to_base_1,T_all_end_to_base_1, 我们可用通过输入的机械臂提供的6
Halcon：手眼标定——眼在手外与眼在手上
JiYuee Note
09-21 9027
为什么需要九点标定？ 为了得到机械和相机的关系，就好比人的手和眼的关系。我们用手将一个物体放到空间的一个位置，用眼看到这个物体，这也存在两个坐标系，一个是手所在的运动空间的坐标系，一个是视网膜上成像的二维平面坐标系。我们用眼看到一个物体，用手去拿，之所以能够准确地拿到这个物体，是因为我们的神经系统把这两个坐标系准确地关联好了。机械和视觉系统也是这样，相机对工作空间中的物体进行拍照，机械手要想准确地取到这个物体，就必须首先把机械坐标系和视觉坐标系进行准确地关联。九点标定的基本原理： 使用机械手将物体放在工作空
Halcon标定系列（3）：我个人总结的“眼在手外“和“眼在手上”的心得笔记
$firecat利白的代码足迹$
06-28 1万+
字面意思，眼代表眼睛，这里指的是我们的工业相机； 手，指的是我们的运动部分，比如机械手或者运动控制系统； 眼在手上，就是相机按照在运动轴上面，跟随运动的某个轴一起运动，这种标定就是图像和机械点一一运动去做标定。 眼在手外，就是相机固定一个位置拍照，机械手或者运动部分不会带动相机，这个时候标定就要一次性拍全视野，然后机械部分再一一针对图像的上点做好对应关系，然后标定。 这两种标定是我们图像和运动部分联合主要的两种标定方法，都可以实现图像转机械运动，就是标定关系不一样而已，结果都是一样的！ 眼在手上就是一个点
经典手眼标定算法C++代码
02-19
经典手眼标定算法C++代码，程序是基于OpenCV 2.0以上版本，下载程序后需要配置OpenCV。工程主要包括三个文件，handeye.h为各种手眼标定的实现，quaternion.h为四元数运算文件，handeye_test.cpp为主程序，测试各手眼...
halcon手眼标定_halcon手眼标定_halcon标定_halcon手眼标定_手眼标定_halcon_
10-01
眼在手移动相机手眼标定，其中包含标定板图像和配套的机器人末端姿态文件
eye-to-hand手眼标定
02-19
手眼标定工具，适用于二维手眼标定，Z轴距离不变的情况，为啥资源分不能为0了
手眼标定—眼在手上（eye-in-hand）基本原理
wmyxfpa的博客
12-28 4252
手眼标定—眼在手上（eye-in-hand）基本原理及标定过程和计算数据获取
物体位姿估计精度验证实验（涉及位姿估计，手眼标定，机械臂运动）
qq_34782535的博客
10-20 6652
物体位姿估计精度验证实验（涉及位姿估计，相手眼标定，机械臂运动）1.位姿估计2.手眼标定Opencv 手眼标定函数calibrateHandEye()（1）Eye in Hand（1）Eye to Hand其他标定函数3.机械臂运动实验方案：机器人位姿校正推导： 1.位姿估计 简单介绍，采用双目结构光相机，利用拍摄的点云数据和CAD模型点云进行ICP配准，获取物体在相机坐标系下的位姿（R，t） 2.手眼标定 本文采用的是Eye to Hand 方式，与opencv中讲解的Eye in Hand方式不同；因此
机械臂标定实战
weixin_41003113的博客
04-20 1149
硬件资源： 机械臂viper300 摄像头realsense d435i 软件版本： 操作系统：Ubuntu18.04 ROS: Melodic 标定算法： 采用easy handeye 算法包 https://gitee.com/casiaros/easy_handeye.git 踩过的坑： 1、easy handeye基于opencv的calibrateHandEye函数，只在opencv4（实测opencv4.2）以后才引入了这个算法。 解决办法，下载opencv的4.2版本.
手眼标定（眼在手上）
weixin_55004283的博客
01-06 1078
以下的手眼标定代码是使用python编写。
（三）手眼标定结果的应用
qq_45445740的博客
04-06 6239
记录自己手眼标定（眼在手上）结果的应用过程。
(二)面扫描仪与机械臂的手眼标定（眼在手外：九点标定）
m0_50990607的博客
02-20 2201
1、配置opencv库与Eigen库 需用到opencv中矩阵运算 需用到Eigen中SVD分解算法 2、获取点 点相对于标定板坐标系的坐标 30 30 0 90 30 0 180 30 0 30 120 0 90 120 0 180 120 0 30 210 0 90 210 0 180 210 0 存为board.txt文件 点相对于相机坐标系的坐标 -24.6 115.6 869.1 -85.7 115.6 869.1 -171.3 119.7 869.1 -24.5 21.9 872.1 -85.9
眼在手外标定
qq_43897478的博客
07-27 290
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
生成一段手眼标定代码
06-01
以下是一个简单的手眼标定代码示例，用于将机器人末端执行器的坐标系与相机的坐标系进行校准： ``` import numpy as np import cv2 from scipy.spatial.transform import Rotation as R # 机器人末端执行器的坐标系中的点 robot_points = np.array([[0, 0, 0], [0, 0, 1], [0, 1, 0], [1, 0, 0]]) # 相机拍摄到的对应点的图像坐标 image_points = np.array([[100, 100], [150, 120], [130, 150], [200, 100]]) # 相机内参矩阵 camera_matrix = np.array([[1000, 0, 320], [0, 1000, 240], [0, 0, 1]]) # 相机畸变参数 dist_coeffs = np.array([-0.2, 0.1, 0, 0]) # 使用 OpenCV 的 solvePnP 函数进行手眼标定 _, rvec, tvec = cv2.solvePnP(robot_points, image_points, camera_matrix, dist_coeffs) # 将旋转向量转换为旋转矩阵 rotation_matrix, _ = cv2.Rodrigues(rvec) # 将旋转矩阵转换为欧拉角 euler_angles = R.from_matrix(rotation_matrix).as_euler('xyz', degrees=True) # 输出标定结果 print("Translation Vector: ", tvec) print("Rotation Vector: ", rvec) print("Rotation Matrix: ", rotation_matrix) print("Euler Angles: ", euler_angles) ``` 这段代码使用了 OpenCV 的 solvePnP 函数来计算机器人末端执行器与相机之间的变换矩阵，然后将旋转向量转换为旋转矩阵，并使用 scipy 库来将旋转矩阵转换为欧拉角。最终输出标定结果，包括平移向量、旋转向量、旋转矩阵和欧拉角。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值