Dobot magician机械臂抓取实战---手眼标定（2）

没入&浅出

已于 2023-06-19 12:38:07 修改

阅读量849

点赞数

分类专栏： magician 文章标签： ubuntu 人工智能数码相机机器人学习 linux

于 2023-06-18 18:24:38 首次发布

本文链接：https://blog.csdn.net/weixin_64037619/article/details/131259802

版权

magician 专栏收录该内容

15 篇文章 20 订阅

订阅专栏

三、张正友棋盘格标定

1、简介

张正友的棋盘格标定是计算机视觉领域中一种常用的相机标定方法，用于确定相机的内参和畸变参数，以便在图像处理和三维重建等应用中获得准确的结果。

棋盘格标定方法最早由张正友教授在1999年提出，并被广泛应用于相机标定和计算机视觉中。该方法基于相机成像的几何特性和棋盘格的结构，通过对棋盘格在图像中的特征提取和几何计算，来估计相机的内参矩阵和畸变参数。

2、相关概念（论文里面的一些陌生、不熟悉的概念）

1、增广向量：在原来的n维向量的基础上向右在增加一列，通常为1，即n+1维向量。例：a = (1,1,1,1)，则他的增广向量为b = (1,1,1,1,1)。这样的增广向量可以方便地与矩阵相乘，从而实现平移、旋转、缩放等线性变换操作。

2、单应矩阵：单应矩阵（Homography Matrix），也称为投影矩阵（Projective Matrix），它是一个平面到另一个平面的投影矩阵（描述物体在世界坐标系和像素坐标系之间的位置映射关系）

$\begin{bmatrix} x\\y \\ 1 \end{bmatrix} = SM\begin{bmatrix} r_{1} &r_{2} & r_{3}&t \end{bmatrix} \begin{bmatrix} x\\y \\ 0\\1 \end{bmatrix} = SM\begin{bmatrix} r_{1} & r _{2}&t \end{bmatrix}\begin{bmatrix} x\\y \\1 \end{bmatrix}$

其中， $H = SM\begin{bmatrix} r_{1} & r _{2}&t \end{bmatrix}$ 为单应矩阵

3、最大似然估计：最大似然估计（Maximum Likelihood Estimation，MLE）是一种统计推断方法，用于估计概率模型的参数。它的核心思想是找到能够使观测数据出现的概率最大的参数值。

4、图像噪声：图像噪声指的是在图像中引入的不希望的随机变化，使得图像的质量和清晰度降低。它可以由多种因素引起，包括图像传感器的噪声、信号传输的干扰、环境条件等。

常见的图像噪声类型包括：

高斯噪声：高斯噪声是最常见的图像噪声类型之一，它具有均值为0的正态分布。它的特点是随机性强，呈现为图像上的像素值的随机波动。
盐和胡椒噪声：盐和胡椒噪声是一种比较极端的噪声类型，表现为图像上出现明显的黑色或白色像素点。它模拟了图像中随机出现的强烈信号或干扰。
椒盐噪声：椒盐噪声是高斯噪声和盐和胡椒噪声的结合，图像中同时存在黑色和白色像素点的随机分布。
泊松噪声：泊松噪声是由于光子统计性质引起的随机噪声，常见于低光条件下的图像。它的特点是呈现随机的明暗变化。
speckle噪声：speckle噪声是一种由于光的相干性质引起的噪声，常见于雷达图像和医学图像等。它表现为图像中出现均匀分布的亮暗斑点。

图像噪声对于图像处理和计算机视觉任务具有负面影响，会降低图像的细节、对比度和清晰度，干扰图像分析和算法的准确性。因此，图像噪声的去除和降低是图像处理中的一个重要问题。

5、协方差矩阵：协方差矩阵（Covariance Matrix）是一个对称矩阵，用于描述多维随机变量之间的协方差关系。它提供了各个维度之间的方差和协方差信息。假设有一个包含n个随机变量的样本集合，其中每个变量有m个样本观测值。那么协方差矩阵的维度为n×n，其中的第(i, j)个元素表示第i个和第j个变量之间的协方差。协方差矩阵的(i, i)个元素是第i个变量的方差，即表示该变量的离散程度。协方差矩阵的(i, j)和(j, i)个元素是第i个和第j个变量之间的协方差，反映了两个变量之间的线性

6、对称矩阵：对称矩阵（Symmetric Matrix）是一种特殊类型的方阵，它满足矩阵的转置与自身相等的性质。换句话说，对称矩阵的第i行第j列的元素等于第j行第i列的元素。1、对角线上的元素保持不变：对称矩阵的主对角线上的元素a_ii保持不变。2、上三角和下三角的元素相等：对称矩阵的上三角元素a_ij与下三角元素a_ji相等，即a_ij = a_ji。

3、原理

对于平面标定装置，存在世界坐标系，使其所有点都满足Z = 0，在齐次归一化坐标系中描述其影响式子。

$\begin{bmatrix} u\\v \\ 1 \end{bmatrix} = k \begin{bmatrix} R &T \end{bmatrix} \begin{bmatrix} x\\y \\0 \\1 \end{bmatrix} = k \begin{bmatrix} r_{1} &r_{2} & t \end{bmatrix}\begin{bmatrix} x \\y\\1 \end{bmatrix}$

在z= 0的标定板上的空间点归一化齐次坐标

$M = \begin{bmatrix} x &y &1 \end{bmatrix}^{T}$

无畸变时，应用单应矩阵H，从M变为影响点m

m ~ HM

$\Rightarrow H = k\begin{bmatrix} r_{1} &r _{2} & t \end{bmatrix}$

$\Rightarrow \begin{bmatrix} h_{1} &h_{2} & h_{3} \end{bmatrix} = \lambda k\begin{bmatrix} r_{1} &r _{2} & t \end{bmatrix}$

$\Rightarrow r_{1} = \frac{1}{\lambda }k^{-1}h_{1}$ $r_{2} = \frac{1}{\lambda }k^{-1}h_{2}$

$r_{1},r_{2}$ 满足正交性

$\left\{\begin{matrix} r_{1}^{T} \cdot r_{2} = 0 \\\\r_{1}^{T} \cdot r_{1} = r_{2}^{T} \cdot r_{2} \end{matrix}\right.$

$r_{1}^{T} \cdot r_{2} \Rightarrow \frac{1}{\lambda }h^{T}k^{-T}k^{-1}h_{2}$

$\Rightarrow \left\{\begin{matrix} h_{1}^{T}k^{-T}k^{-1}h_{2} = 0\\ \\ h_{1}^{T}k^{-T}k^{-1}h_{1} = h_{2}^{T}k^{-T}k^{-1}h_{2} \end{matrix}\right.$

上式就是求解内参的式子。

（2）求解方法

定义一个对称矩阵B： $B = K^{-T}K^{-1}$ （其中 $k = \begin{bmatrix} f & f &u_{0} \\ 0 & f & v_{0}\\ 0&0 &1 \end{bmatrix}$ ）

然后引入一组6维向量： $b = \begin{bmatrix} B_{11} &B_{12} & B_{22} & B_{13} & B_{23}& B_{33} \end{bmatrix}^{T}$ (b相当于 $B = K^{-T}K^{-1}$ )

单位矩阵H的列向量： $h_{i} = \begin{bmatrix} h_{i1} & h_{i2} & h_{i3} \end{bmatrix}^{T}$ （表示单应矩阵的一列）

由 $\left\{\begin{matrix} h_{1}^{T}k^{-T}k^{-1}h_{2} = 0\\ \\ h_{1}^{T}k^{-T}k^{-1}h_{1} = h_{2}^{T}k^{-T}k^{-1}h_{2} \end{matrix}\right.$ 和 $B = K^{-T}K^{-1}$ 可以得出 $h_{i}^{T}Bh_{j} = v_{ij}^{T}b = 0$

其中 $v_{ij} = \begin{bmatrix} h_{i1}h_{j1}&h_{i1}h_{j2}+h_{i2}h_{j2}&h_{i2}h_{j2}&h_{i3}h_{j1}+h_{i1}h_{j3} &h_{i3}h_{j2}+h_{i2}h_{j3}&h_{i3}h_{j3} \end{bmatrix}$

由上式及上面求内参的式子，可得 $\begin{bmatrix} V_{12}^{T}\\ (V_{11}-V_{22})^{T} \end{bmatrix}b = 0$

上式可以转换为线性方程的形式 Vb = 0(一副标定板产生2个等式，理想情况下，3副标定板可以求出内参数矩阵)

下一篇记录Vb=0的求解

没入&浅出

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
打赏
0
评论
Dobot magician机械臂抓取实战---手眼标定（2）

棋盘格标定方法最早由张正友教授在1999年提出，并被广泛应用于相机标定和计算机视觉中。该方法基于相机成像的几何特性和棋盘格的结构，通过对棋盘格在图像中的特征提取和几何计算，来估计相机的内参矩阵和畸变参数。
复制链接

扫一扫