CS336视觉伺服

笔记

动力学模型

机械臂动力学的研究方法：拉格朗日，牛顿-欧拉，高斯，凯恩方法。机械臂的动力学主要是两个问题：正向运动学和逆向运动学。

视觉伺服

视觉伺服的基本思想

基于视觉的伺服控制方法的目的是最小化一个图像误差，该误差可以定义为：
$$e(t)=s(m(t),a)-s^{\ast }$$

其中$m(t)$是一系列的图像特征，如图像点特征、形状特征、位姿特征或频域特征等。$s(m(t),a)$表示通过特征$m(t)$与一些额外的系统参数构成的映射函数。

将提取的特征$m(t)$映射至目标特征$s^{\ast }$的空间中，并与$s^{\ast }$进行比较，当两者差为零时，即系统误差$e(t)$为零，系统迗到稳定的收敛位置。

基于图像的视觉伺服方法通过从图像中获取的特征点直接控制机械臂的运动，而基于位置的伺服方法首先通过图像特征点计算目标的位姿，再根据机械臂与目标物体的相对位姿规划运动方案。

最筒单的控制方法是设计一个速度控制器来控制机械臂的移动。为了得到图像特征$s$随时间的变化率与摄像机运动速度的关系，设摄像机在摄像机坐标系下的瞬时速度为${\mathbf{v}}_c=\left(v_c,{\omega }_c\right)$​

则图像特征随时间的变化率$\dot{s}$与摄像机速度${\mathbf{v}}_c$ 的关系可以表示为：
$$\dot{s}={\mathbf{J}}_s{\mathbf{v}}_c$$

其中${\mathbf{J}}_s\in {\mathbb{R}}^{k\times 6}$为图像雅克比矩阵。在未知相机参数和特征点深度信息条件下，定义图像雅克比矩阵为：

J ( k ) = [ ∂ S 1 ( k ) ∂ r 1 ( k ) ⋯ ∂ S 1 ( k ) ∂ r n s ( k ) ⋮ ⋱ ⋮ ∂ S m ( k ) ∂ r 1 ( k ) ⋯ ∂ S m ( k ) ∂ r n s ( k ) ] m × n s = [ j 11 ⋯ j 1 n s ⋮ ⋱ ⋮ j m 1 ⋯ j m n s ] m × n s J(k)=\left[\begin{array}{ccc} \frac{\partial S_{1}(k)}{\partial r_{1}(k)} & \cdots & \frac{\partial S_{1}(k)}{\partial r_{n_{s}}(k)} \\ \vdots & \ddots & \vdots \\ \frac{\partial S_{m}(k)}{\partial r_{1}(k)} & \cdots & \frac{\partial S_{m}(k)}{\partial r_{n_{s}}(k)} \end{array}\right]_{m \times n_{s}}=\left[\begin{array}{ccc} j_{11} & \cdots & j_{1 n_{s}} \\ \vdots & \ddots & \vdots \\ j_{m 1} & \cdots & j_{m n_{s}} \end{array}\right]_{m \times n_{s}} J(k)=⎣⎢⎢⎡​∂r1​(k)∂S1​(k)​⋮∂r1​(k)∂Sm​(k)​​⋯⋱⋯​∂rns​​(k)∂S1​(k)​⋮∂rns​​(k)∂Sm​(k)​​⎦⎥⎥⎤​m×ns​​=⎣⎢⎡​j