本文介绍了机械臂与相机的手眼标定方法，包括In-Hand Camera和Fixed Camera两种情况，通过非线性优化进一步提升标定精度。详细讨论了如何利用刚体变换矩阵和齐次线性方程求解相机与机械臂之间的变换关系。
文章同步更新于 github page.
简介
机械臂在运动时，往往需要配合视觉信息进行目标的定位或识别，这就涉及到如何将相机坐标系（Camera Frame）下的物体转换到机械臂自身的坐标系下（Base Frame）。这一问题一般通过手眼标定（Hand-Eye Calibration）解决，其中的“手”即为机械臂，“眼”即为相机。
具体的标定方式还与手眼之间的安装方式有关，这里大体分为两类。其一，相机安装在机械臂的末端上，跟随机械臂一起运动，这种一般称为In-Hand Camera。其二，相机固定安装在某个位置，不随机械臂运动，这种一般称为Fixed Camera或Global Camera。下面分别对两张手眼安装形式的标定进行介绍。
In-Hand Camera
如下图所示，In-Hand Camera的标定主要是为了求出相机与机械臂末端夹具（End-effector）之间的变换关系，一般是一个大小为4x4的刚体变换矩阵。
令end-effector在base frame下的位姿为 E B T {}^B_ET EBT，即末端位姿，这可以从机械臂输出数据中读出，一般视为精确值。标定时，将一个已知精确大小的标定板（比如棋盘格）固定放置，然后让机械臂运动，以使相机可以从多个不同角度拍摄标定板图像，拍摄图像的同时，要记录当时的机械臂末端位姿。假设相机内参已知，每一张标定板图像都可以算出相机（C）在标定板（P）下的位姿 C P T {}^P_CT CPT. 这样每一个 E B T {}^B_ET EBT都对应一个 C P T {}^P_CT CPT。现在设相机在end-effector下的位姿为 C E T {}^E_CT CET，标定板在base frame下的位姿为 P B T {}^B_PT PBT，他们之间存在如下关系
E B T i C E T = P B T C P T i {}^B_ET_i{}^E_CT={}^B_PT{}^P_CT_i EBTiCET=PBTCPTi
其中 C E T {}^E_CT CET和 P B T {}^B_PT PBT是未知量。
初看，这是 A X = Z B AX=ZB AX=ZB形式的方程，虽然存在一些解这类方程的方法，但根据个人经验，条件都比较苛刻，数值稳定性不佳。实际上，在上式中，我们并不关心 P B T {}^B_PT PBT，可以想办法将其消去。显然有
E B T i C E T P C T i = P B T = E B T j C E T P C T j {}^B_ET_i{}^E_CT{}^C_PT_i={}^B_PT={}^B_ET_j{}^E_CT{}^C_PT_j EBTiCETPCTi=PBT=EBTjCETPCTj
既
E B T i C E T P C T i = E B T j C E T P C T j {}^B_ET_i{}^E_CT{}^C_PT_i={}^B_ET_j{}^E_CT{}^C_PT_j EBTiCETPCT
最低0.47元/天 解锁文章
6397
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
