未标定的手眼视觉伺服:一种LMI方法

最新推荐文章于 2023-09-13 15:00:28 发布

hello我是小菜鸡

最新推荐文章于 2023-09-13 15:00:28 发布

阅读量1.4k

点赞数 2

分类专栏：移动装配

移动装配专栏收录该内容

2 篇文章 0 订阅

订阅专栏

未标定的手眼视觉伺服：一种LMI方法

Uncalibrated eye-in-hand visual servoing: an LMI approach

Umer Khan, Ibrar Jan and Naeem Iqbal

Khan U , Jan I , Iqbal N , et al. Uncalibrated eye-in-hand visual servoing: An LMI approach[J]. Industrial Robot, 2011, 38(2):130-138.

摘要：

目的：摘要提出了基于线性矩阵不等式(LMI)的六自由度机械臂视觉伺服控制方法。其目的在于开发一种既不涉及摄像机标定参数也不涉及运动学逆的方法。本文采用的方法包括转置雅可比矩阵控制；因此，不再需要雅可比矩阵的逆。通过调用李雅普诺夫直接法，保证了系统的闭环稳定性。给出了三种不同情况下的仿真结果，证明了在存在较大误差情况下系统的稳定性和收敛性。

设计/方法/应用：本文介绍了基于lmi的PUMA560机器人手臂视觉伺服控制。

发现：结果表明，该方法不依赖于相机和对象模型，在动态环境下具有较好的可实现性。

原创性/价值：LMI优化被用于视觉伺服控制在一个未校准的环境。采用李亚普诺夫直接法保证了系统的稳定性和收敛性。

关键词：机器人学、控制系统

1.简介：

文献中提出的标准视觉伺服方法主要包括基于位置的视觉伺服、基于图像的视觉伺服(IBVS)和2.5D或混合视觉伺服(Hashimoto, 1993;Hutchinson等人，1996年;Malis等，1999)。在伺服过程中，使用手视式摄影机跟随示教的方法从观察目标中提取所需的特征。此外，假设相机具有始终可见的图像特征。根据已知控制输入参数的范围，视觉伺服方法可以进一步分为基于模型的和无模型的两种。在基于模型的方法中，我们有关于相机和物体模型的先验信息(Wilson et al.， 1996)。对这些参数的准确了解是至关重要的，缺少这些参数会导致性能恶化并导致不稳定性。为了克服这个问题，一种解决方案是使用IBVS的无模型方法，它不需要相机或物体模型的先验信息(Espiau et al.， 1992;Malis and Chaumette, 2002)。因此，它有助于减少由于相机校准而产生的计算延迟和不必要的误差(Espiau, 1993)。

在IBVS中，任务误差函数是基于二维图像特征的，而机械手是使用独立的关节控制或基于笛卡尔的控制。因此，有必要研究特征速度与螺旋运动速度之间的关系。交互矩阵（图像雅可比矩阵）捕捉了这种关系。通过分析该矩阵的结构，我们发现计算该矩阵需要相机的焦距、物体的深度和相机的图像特征等信息。再一次，相机参数以及参与交互矩阵的3D位姿信息被期望是已知的。因此，无模型方案仍然容易受到误差的影响。最近，Hu提出了基于单应性的视觉伺服控制，自适应补偿未知的深度和摄像机参数(Hu et al.， 2009)。Hao和Sun（2008）使用自适应递归最小二乘（RLS）算法处理手眼情况。不幸的是，所有这些技术都依赖于相机参数的知识。因此，仍然存在系统不稳定的可能性。这促使许多研究人员提出各种方法，独立于相机和运动学参数和对象模型。这些方法主要基于对图像和机械手雅可比矩阵的研究，而没有考虑它们的解析形式（Hosoda和Asada, 1994;Jagersand等，1997）。将图像的雅可比矩阵与机器人的雅可比矩阵结合，称为复合雅可比矩阵。Piepmeier开发了一种利用RLS雅可比矩阵估计格式的动态拟牛顿方法(Piepmeier et al.， 2004;Piepmeier和Lipkin, 2003)。与之前的方法不同，这些方法不涉及任何摄像机和三维位姿信息。然而，这些技术的共同问题是存储先前更新的值需要内存，对雅可比矩阵的初始估计要求较强。在某些情况下，这些算法可能会因为最初的猜测而完全出错。Su等人(2008)对基于不同方案的雅可比矩阵估计进行了详细的研究，并分别研究了它们的性能。

在本文中，我们提出了一种新的视觉伺服框架。主要思想包括利用线性矩阵不等式（LMI）优化来确定复合雅可比矩阵，而不使用任何相机和物体模型或运动学参数的先验知识。在过去的十年中，一些研究者已经使用LMI框架来处理非线性系统（Boyd et al.， 1994）。同质形式和利用LMI优化估计被相机立体视觉系统的位移通过最小化的基本矩阵的代数误差流形（Chesi, 2009 a, b）。该计划提出了被认为是第一步采用LMI映像的范式的一个未校准的环境。本文采用的方法是基于转置雅可比矩阵控制，从而使系统无奇异性。此外，该算法还独立于摄像机标定和目标模型。这有助于我们的方案在动态环境中保持稳健。利用LMI确定未知复合雅可比矩阵。此外，利用李雅普诺夫直接法证明了包含机器人全非线性动力学的闭环全局渐近稳定性。我们实际上并不是专注于恢复雅可比矩阵的确切未知参数;相反，我们的重点在于通过最小化误差范数来获得这样的值，以确保系统的稳定性和收敛性。

2.理论背景

这里所考虑的机器人系统由一个机器人机械手组成，其中摄像机刚性地附着在末端执行器上。机器人动力学、微分运动学和交互矩阵的数学描述如下(Lewis et al.， 2004)。

2.1 机器人动力学

在无摩擦或其他扰动的情况下，串联n连杆机器人的动力学为:

$M(q)\ddot{q}+V(q,\dot{q})\dot{q}+g(q)=\tau$ (1)

其中

$q$ 是 $n \times 1$ 的机器人关节位移向量；

$\tau$ 是 $n \times 1$ 的机器人关节扭矩向量；

$M(q)$ 是 $n \times n$ 的对称正定机器人惯量矩阵；

$V(q,\dot{q})\dot{q}$ 是 $n \times 1$ 的机器人向心力矩和科里奥利力矩矢量；

$g(q)$ 是 $n \times 1$ 的机器人引力力矩矢量；

性能1：惯性矩阵随向心和科里奥利矩阵的时间导数满足(Spong etal ， 2005)：

$\dot{q}^{T}\left [ \frac{1}{2}\dot{M}(q)-V(q,\dot{q}) \right ]\dot{q}=0,\forall q,\dot{q}\in \Re ^{n}$ (2)

(矩阵 $\dot{M}(q)-2C_{j}(q,\dot{q})$ 是反对称的，即对任意的具有合适维度的向量y都具有 $y^{T}\left ( \dot{M}(q)-2C(q,\dot{q}) \right )y=0$ )。

2.2 机器人微分动力学

机器人的微分运动学给出了关节速度 $\dot{q}$ 与相应末端执行器的平动速度 $v_{c}$ 和角速度 $w_{c}$ 之间的关系。它们通过雅可比矩阵的平动 $J_{v}$ 和转动分量 $J_{w}$ 联系起来：

$v_{c}=J_{v}\dot{q}$ (3)

$w_{c}=J_{w}\dot{q}$ (4)

其中 $J_{v}$ 和 $J_{w}$ 是 $3 \times n$ 的矩阵。靠联立（3）和（4），我们有：

$\nu _{c}=J\dot{q}$ (5)

$\nu _{c}=\left ( v_{c},w_{c} \right )$ 表示运动螺旋速度矢量，矩阵 $J=\left ( J_{v},J_{w} \right )$ 称为机械手雅可比矩阵。

2.3 相互作用矩阵

视觉控制的目标是最小化误差，通常定义为：

$\xi(t)=s(t)-s_{d}$ （6）

其中 $s=(u,v)$ 表示以像素表示的图像点在当前时刻t的坐标， $s_d$ 为包含所需特征（预期图像目标在相机坐标系中的位置）。在本文中，目标被认为是静止的，即 $s_d$ 是恒定的，s的变化只取决于机械臂上的相机的运动。特征速度 $\dot{s}$ 与螺杆速度 $\nu_{c}$ 的关系为：

$\dot{s}=L_{s} \nu_{c}$ (7)

其中 $L_{s} \in \Re ^{k \times 6}$ 是相互作用矩阵。交互矩阵结构可定义为(Hutchinson et al.， 1996)：

$\dot{s}=\begin{bmatrix} \frac{f}{Z} & 0 & -\frac{u}{Z} & -\frac{uv}{\lambda} & \frac{f^{2}+u^{2}}{f} &-v \\ 0 & \frac{f}{Z}&-\frac{v}{Z} & -\frac{f^{2}-v^{2}}{f} & \frac{uv}{f} & u \end{bmatrix} \nu _{c}$ (8)

（

这个公式的来源：

假设一个位于 $\begin{bmatrix} x & y & z \end{bmatrix}^{T}$ 上的刚体的角速度为 $\omega (t)=\begin{bmatrix} \omega_{x}(t) & \omega_{y}(t) & \omega_{z}(t) \end{bmatrix}^{T}$ ，线速度为 $v(t)=\begin{bmatrix} v_{x}(t) &v_{y}(t) & v_{z}(t) \end{bmatrix}^{T}$ ，在一个极短时间内，存在：

$\begin{bmatrix} \dot{x}\\ \dot{y}\\ \dot{z} \end{bmatrix}=-\begin{bmatrix} 0 & -z &y \\ z & 0 &-x \\ -y & x & 0 \end{bmatrix}\begin{bmatrix} \omega_{x}\\ \omega_{y}\\ \omega_{z} \end{bmatrix}+\begin{bmatrix} v_{x}\\ v_{y}\\ v_{z} \end{bmatrix}$

那么，根据相似三角形原理，其刚体投影在图像上的坐标为 $\begin{bmatrix} u & v \end{bmatrix}^{T}$ ，而图像距离光心的距离为 $\lambda$ ，其方程为：

$\begin{bmatrix} u\\ v \end{bmatrix}=\frac{\lambda}{z}\begin{bmatrix} x\\ y \end{bmatrix}$

将x、y和z用u、v和z来代替，可得：

$\begin{bmatrix} \dot{x}\\ \dot{y}\\ \dot{z} \end{bmatrix}=-\begin{bmatrix} 0 & -z &\frac{vz}{\lambda} \\ z & 0 &-\frac{uz}{\lambda} \\ -\frac{vz}{\lambda} & \frac{uz}{\lambda} & 0 \end{bmatrix}\begin{bmatrix} \omega_{x}\\ \omega_{y}\\ \omega_{z} \end{bmatrix}+\begin{bmatrix} v_{x}\\ v_{y}\\ v_{z} \end{bmatrix}$

利用等式求解，3个方程求解2个未知量，可以得到：

$\begin{bmatrix} \dot{u}\\ \dot{v} \end{bmatrix}=\begin{bmatrix} \frac{f}{Z} & 0 & -\frac{u}{Z} & -\frac{uv}{\lambda} & \frac{f^{2}+u^{2}}{f} &-v \\ 0 & \frac{f}{Z}&-\frac{v}{Z} & -\frac{f^{2}-v^{2}}{f} & \frac{uv}{f} & u \end{bmatrix} \begin{bmatrix} v_{x}\\ v_{y}\\ v_{z}\\ \omega_{x}\\ \omega_{y}\\ \omega_{z} \end{bmatrix}$

）

在这个矩阵中，Z为点相对于摄像机坐标系的深度，f为摄像机焦距。将式(5)中的 $v_{c}$ 代入式(7)中，得到：

$\dot{s}=L_{s} J \dot{q}$ (9)

将交互矩阵与机械手雅可比矩阵组合为单个矩阵：

$\dot{s}=J_{c} \dot{q}$ (10)

其中 $J_{c} \in \Re ^{k \times n}$ 为复合雅可比矩阵。任何使用式(8)中定义形式的交互矩阵的控制方案，都必须准确了解摄像机的内在参数和3D姿态。此外，还需要运动学参数来确定机械手的雅可比矩阵。在我们的例子中，假设我们没有这些参数的任何先验信息。因此，在不考虑摄像机或机器人运动学参数先验信息的情况下，利用LMI优化来确定 $J_{c}$ 的最优解。式(10)则可将 $J_{c}$ 的最优解改写为：

$\dot{s}=J_{c}^{*}\dot{q}$ (11)

用等式（6）和（11），我们能得到关节速度 $\dot{q}$ 和时变误差 $\xi$ 满足：

$\dot{\xi}=\dot{s}-\dot{s}_{d}=\dot{s}-0=J_{c}^{*} \dot{q}$ (12)

这个方程确保 $\dot{\xi }= 0$ 只有在 $\dot{q}=0$ 的情况下才是可能的。控制的目的是确保：

$\lim_{t\rightarrow \infty } \xi(t) = 0$

我们做如下假设：

A1 对象是静态的，即 $\dot{s}_{d} =0$ 。

A2 存在所期望的关节角 $q_{d}$ 的特征误差消失,即 $s_{d}=s(q_{d})$ 。值得注意的是， $q_{d}$ 不需要知道，也不需要测量。

3.简单的视觉伺服控制器

在IBVS中，特征的位置只能通过摄像头来确定；因此，没有 $q_{d}$ 不可以直接获得。通常， $q_{d}$ 可以通过求解逆的图像和运动学问题得到。本文采用直接视觉伺服控制方法计算关节力矩；因此，只用视觉来稳定机制。采用所提出的控制律计算机械手的控制输入 $\tau$ ：

$\tau=M(\ddot{q}_{d}-u)+g$ (13)

（不知道为何不考虑科氏力）

该控制器是一种基于计算力矩式控制律的控制器。 $q_{d}$ 为期望关节角的加速度，u为控制输入函数，g为重力转矩。在控制律中加入了重力转矩以提高跟踪性能。如果利用式(11)建立期望关节速度与期望特征速度的关系，则为：

$\dot{s}_{d}=J_{c}^{*}\dot{q}_{d}$ (14)

对于A1假设，我们有 $\dot{s}_{d}=0$ ；因此， $\dot{q}_{d}=\ddot{q}_{d}=0$ ，随后，利用式(13)可得：

$\tau=M(-u)+g$ （15）

这里选择的控制输入u是包含转置雅可比矩阵的比例反馈，希望能稳定整个方案，使 $\xi$ 趋于零：

$u=J_{c}^{*T}K_{p} \lambda \xi$ (16)

其中 $K_{p} \in \Re ^{k \times k}$ 为对角正定比例矩阵，即各轴分别控制。 $\lambda$ 为正增益，其值在0到1之间。利用满足约束条件和性能准则的LMI优化算法计算 $J_{c}^{*}$ 。将式(16)中的控制输入u带入式(15)中，机械手整体输入变为：

$\tau=M(-J_{c}^{*T}K_{p} \lambda \xi)+g=-MJ_{c}^{*T}K_{p} \lambda \xi + g$ (17)

值得注意的是，控制器直接使用特征误差向量 $\xi$ 。这意味着机械手的输入是直接根据图像特征误差计算的。控制器还需要知道复合雅可比矩阵 $J_{c}^{*T}$ 和重力力矩g。图1显示了系统的闭环框图。

将式(17)的控制动作 $\tau$ 代入机器人动力学式(1)得到整个闭环系统：

$M \ddot{q} + V \dot{q} = -MJ_{c}^{*T}K_{p} \lambda \xi$ (18)

系统行为可以根据状态向量 $[q^{T},\dot{q}^{T}]^{T} \in \Re ^{2n}$ 来编写：

$\frac{\mathrm{d} }{\mathrm{d} x}\left [ \begin{matrix} q\\ \dot{q} \end{matrix} \right ] = \begin{bmatrix} \dot{q}\\ M^{-1}(-MJ_{c}^{*T}K_{p}\lambda \xi ) \end{bmatrix}$ (19)

注意，闭环系统是由一个自治的非线性微分方程描述的。从假设A2中，可以得到 $\left [ \begin{matrix} q^{T} & \dot{q}^{T} \end{matrix} \right ]^{T}=\left [\begin{matrix} q_{d}^{T} & 0 \end{matrix} \right ]^{T}$ 作为平衡点。在推导LMI和进行闭环稳定性分析之前，我们首先回顾了将用于确保稳定性的李亚普诺夫的直接方法(Khalil, 1996)。

李雅普诺夫定理：

给定一个正定函数 $V(x)>0,\forall x \neq 0$ 并且一个自治系统 $\dot{x}=f(x)$ ，然后这个系统 $\dot{x}=f(x)$ 是稳定的如果满足：

$\dot{V}(x)=\frac{\partial V}{\partial x} f(x) <0, \forall x \neq 0$

3.1. LMI优化和稳定性

为了推导LMI并保证稳定性，选择如下Lyapunov函数候选函数：

$V(q_{d}-q,\dot{q})\\=\frac{1}{2} \dot{q}^{T}M\dot{q}+\frac{1}{2}(s(q)-s(q_{d}))^{T} K_{p}(s(q)-s(q_{d}))\\=\frac{1}{2} \dot{q}^{T}M\dot{q}+\frac{1}{2}\xi^{T}K_{p}\xi$ (20)

V的时间导数为：

$\dot{V}(q_{d}-q,\dot{q})\\=\frac{1}{2}(\ddot{q}^{T}M\dot{q}+\dot{q}^{T}\dot{M}\dot{q}+\dot{q}^{T}M\ddot{q})+\frac{1}{2}\xi^{T}K_{p}\dot{\xi} + \frac{1}{2}\dot{\xi}^{T}K_{p}\xi$ (21)

简化为：

$\dot{V}(q_{d}-q,\dot{q})\\=\frac{1}{2}(\ddot{q}^{T}M\dot{q}+\dot{q}^{T}\dot{M}\dot{q}+\dot{q}^{T}M\ddot{q})+\frac{1}{2}(2\xi^{T} K_{p} \dot{\xi})$ (22)

利用闭环动力学式(18)代入(22)可得：

$\dot{V}(q_{d}-q,\dot{q})\\=\frac{1}{2}((-MJ_{c}^{*T}K_{p} \lambda \xi-V\dot{q})^{T} \dot{q}+\dot{q}^{T}\dot{M}\dot{q}+\dot{q}^{T}(-MJ_{c}^{*T}K_{p} \lambda \xi-V\dot{q}))+\frac{1}{2}(2\xi^{T} K_{p} \dot{\xi})\\ =\frac{1}{2}(-MJ_{c}^{*T}K_{p} \lambda \xi)^{T} \dot{q} +\frac{1}{2}\dot{q}^{T}\dot{M}\dot{q}+\frac{1}{2}\dot{q}^{T}(-MJ_{c}^{*T}K_{p} \lambda \xi) -\frac{1}{2}\dot{q}^{T}(V+V^{T})\dot{q}+\xi^{T}K_{P}\dot{\xi}$ (23)

此前，使用斜对称的属性可得 $\frac{1}{2}\dot{q}^{T}(V+V^{T})\dot{q}=0$ ，因此有

$\dot{V}(q_{d}-q,\dot{q})=\frac{1}{2}(-MJ_{c}^{*T}K_{p} \lambda \xi)^{T} \dot{q} +\frac{1}{2}\dot{q}^{T}\dot{M}\dot{q}+\frac{1}{2}\dot{q}^{T}(-MJ_{c}^{*T}K_{p} \lambda \xi) +\xi^{T}K_{P}\dot{\xi}$ （24）

利用性质1，我们可以消去一些项。另外，如果我们想确保指数解耦误差的减少，我们令 $\dot{\xi} = -\lambda{\xi}$ 消除误差的导数项，

$\dot{V}(q_{d}-q,\dot{q})\\=-\frac{1}{2}\xi^{T}(\lambda K_{p} J_{c}^{*T} M )^{T} \dot{q} +\frac{1}{2}\dot{q}^{T}\dot{M}\dot{q}+\frac{1}{2}\dot{q}^{T}(-MJ_{c}^{*T}K_{p} \lambda)\xi -\xi^{T}\lambda K_{P} {\xi}$ (25)

写成LMI形式：

$\begin{bmatrix} \xi\\ \dot{q} \end{bmatrix}^{T}\begin{bmatrix} -\lambda K_{P} & -\frac{1}{2}\lambda K_{p}J_{c}^{*}M\\ -\frac{1}{2}M J_{c}^{*T}K_{p}\lambda& 0_{n \times n} \end{bmatrix} \begin{bmatrix} \xi\\ \dot{q} \end{bmatrix}$ (26)

$J_{c}^{*}$ 为在线更新参数，其中 $K_{p}$ 为设计器选择的增益矩阵。衰减因子 $\lambda$ 的值为0，设计者也选择了 $0<\lambda \leq 1$ ，它的选择决定了收敛速度。基于这些未知量的控制器通过最小化误差范数来保证系统的收敛性和稳定性：

Min $\frac{1}{2}\xi^{T}\xi$

s.t $\left \| J_{c} \right \| < 0.5$

复合雅可比矩阵的约束条件是其范数应保持小于0.5。如果有，系统的渐近稳定性得到保证:

$\begin{bmatrix} -\lambda K_{P} & -\frac{1}{2}\lambda K_{p}J_{c}^{*}M\\ -\frac{1}{2}M J_{c}^{*T}K_{p}\lambda& 0_{n \times n} \end{bmatrix} <0$ (27)

$J_{c}$ 的最优解对系统的渐近稳定性有一定的影响。一种可能的选择是在脱机步骤中计算其最优值。但是，这似乎不合适的深度点和相机焦距变化。这也会导致系统达到局部最小值。因此，为了确定全局渐近稳定性，控制方案的每一次迭代都必须更新 $J_{c}$ 。

由于式(27)中引入的LMI总是确保式(26)的负确定性。因此， $\dot{V}$ 是全局负定函数。因此，通过引用李雅普诺夫直接法，可以得出结论 $\left [ \begin{matrix} q^{T} & \dot{q}^{T} \end{matrix} \right ]^{T}=\left [\begin{matrix} q_{d}^{T} & 0 \end{matrix} \right ]^{T}$ 是一个稳定的平衡。整个过程不需要相机或对象模型的先验信息。采用凸优化方法求解式(27)中建立的LMI。

4.仿真结果

5.结论

本文提出了一种基于LMI优化的视觉伺服新方法。据我们所知，这是第一次对未校准的ibv使用LMI优化。该算法既不利用摄像机标定参数，也不利用三维位姿信息;因此，它在动态环境中是稳健的。此外，该方案不依赖于机器人的运动学模型。因此，任何串行的n连杆机器人手臂都可以用于操作。当变焦相机用于操作时，由于其对内在参数变化的无响应特性，它也有其优点。利用李亚普诺夫直接法确定了闭环系统的全局渐近稳定性。可见性约束的缺失反映了该方法在存在障碍物或噪声时的不足。因此，未来的工作可以致力于将可见性约束合并到我们的方法中，并在真实对象上实现它。

hello我是小菜鸡

关注

2
点赞
踩
11

收藏

觉得还不错? 一键收藏
3
评论
未标定的手眼视觉伺服:一种LMI方法

未标定的手眼视觉伺服：一种LMI方法Uncalibrated eye-in-hand visual servoing: an LMI approachUmer Khan, Ibrar Jan and Naeem IqbalKhan U , Jan I , Iqbal N , et al. Uncalibrated eye-in-hand visual servoing: An LMI approach[J]. Industrial Robot, 2011, 38(2):130-138..
复制链接

扫一扫