![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
视觉伺服
文章平均质量分 81
深视
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记《A nonparametric-learning visual servoing framework》
核心思想 本文提出一种基于贝叶斯随即状态估计的非参数学习型视觉伺服方法,对于经典的视觉伺服方法PBVS或IBVS,需要深度信息、相机标定信息、机器人的动力学模型等,这极大地限制了视觉伺服算法在实际场景中的应用。视觉伺服的关键步骤就是寻找机器人动作和图像中特征点位置变化之间的关系,也就是计算交互矩阵(图像雅可比矩阵),本文不再显式地估计或者计算图像雅可比矩阵,而是将其看作是寻找二维图像空间与三维动作空间之间的映射关系,而寻找这个映射关系的过程可以看作是贝叶斯随机状态估计的过程(Bayesian stoch原创 2021-05-31 22:15:23 · 381 阅读 · 3 评论 -
论文阅读笔记《DeepMPCVS: Deep Model Predictive Control for Visual 》
核心思想 本文提出一种基于深度模型预测控制的视觉伺服方法,与传统的视觉伺服方法不同,该方法既不需要设计视觉特征,也不需要计算交互矩阵的逆矩阵。而是利用光流信息来描述当前图像和期望图像之间的差异,并且通过交互矩阵(图像雅可比矩阵)将速度信息和光流信息关联起来,因为交互矩阵就是描述了图像中的位置变化与运动速度之间的关系。进而使用一个基于循环神经网络的模型来根据上一时刻的速度,输出未来时刻的速度指令。整个算法的流程如下图所示 首先,作者先介绍了传统视觉伺服实现的方式,其核心为其中s(It)s(I_t原创 2021-05-28 21:06:03 · 654 阅读 · 0 评论 -
论文阅读笔记《Learning Visual Servoing With Deep Features and Fitted Q-Iteration》
核心思想 该文提出一种基于深度特征和Fitted Q-Iteration(FQI)的学习型视觉伺服算法,相对于使用图像中人为设计的特征,深度特征具备更强的鲁棒性,能够更好的应对图像中光照、角度变化、遮挡等问题的影响。但使用深度特征同样也带来了一些问题,比如深度特征维度比较高,如何从中选择有用的特征信息;深度特征描述了整幅图像的情况,如何从中定位出感兴趣区域或者目标。该文通过FQI算法为深度特征的每个通道都赋予一定的权重,通过权重的大小来选择出最有用的特征信息。 首先,要利用一个卷积神经网络从图像中提原创 2021-05-10 16:56:08 · 545 阅读 · 0 评论 -
论文阅读笔记《Morphology-Agnostic Visual Robotic Control》
核心思想 该文提出一种在高度自由条件下的机器人视觉控制方法,该方法能够在机器人的驱动不精确、没有本体感知反馈(proprioceptive feedback)、形态学条件未知、相机姿态未知甚至是在不稳定的手持相机拍摄条件下,实现机器人的自识别和运动控制,能够在视觉引导下完成3D空间点的到达、轨迹跟踪和机器人之间动作模仿等任务。常见的机器人视觉引导控制,通常需要固定的相机位置,并对相机参数进行准确的标定,还需要知道机器人基本的形态学信息,如关节,躯干等部件的尺寸位置等。而该文提出的方法能够在上述条件完全未原创 2021-05-07 15:10:23 · 321 阅读 · 0 评论 -
论文阅读笔记《DIViS: Domain Invariant Visual Servoing for Collision-Free Goal Reaching》
核心思想 该文提出一种领域不变的视觉伺服方法,虽然表述为视觉伺服,但实际上基本抛弃了传统的视觉伺服方法,更接近深度强化学习的方法。整个算法有两个特点:一是网络虽然是利用仿真环境进行训练的,但是可以直接迁移到真实世界的移动机器人上;二是训练好的网络具备自主避障的能力,这种能力并非是基于规则的,而是通过强化学习获得的。整个网络的结构如下图所示 网络的前端部分包含两个分支:碰撞网络(Collision Net)和语义网络(Semantic Net)。碰撞网络主要是用于预测可能存在障碍物的位置,输入图像I原创 2021-03-16 16:35:30 · 207 阅读 · 0 评论 -
论文阅读笔记《Subspace-Based Direct Visual Servoing》
核心思想 该文提出一种基于子空间的直接视觉伺服方法。这里提到直接视觉伺服(DVS)和之前介绍过的直接视觉伺服概念有些不同,这里是指直接利用整幅图像中的光度信息(photometric information)来进行误差计算,而不是像传统视觉伺服方法中根据特征点的位置坐标来进行误差计算。简单而言,直接视觉伺服是比较两幅图像之间的差异,而不是单单比较若干个点之间的差异。本文利用主成分分析(PCA)的方法对图像进行降维重建,然后利用重建后的图像进行直接视觉伺服。 首先构建特征空间,采集MMM幅图像,并且将原创 2021-03-15 20:45:41 · 330 阅读 · 0 评论 -
论文阅读笔记《Optimal Image-Based Guidance of Mobile Manipulators Using Direct Visual Servoing》
核心思想 该文提出一种基于图像的直接伺服算法用于引导移动机械臂的动作。该文的研究还是比较有特色的,首先该文的控制对象是移动机器人平台+7自由度的机械臂;其次本文采用直接视觉伺服控制,与非直接视觉伺服输出相机的速度控制律不同,直接视觉伺服输出施加到电机的力和力矩;最后该文是采用了优化控制的思路来实现视觉伺服控制的。 整个系统的坐标系关系如上图所示,为方便叙述,现将涉及到的重要参数符号整理在下qmTq_m^TqmT表示机械臂关节的广义坐标qpTq_p^TqpT表示移动平台的广义坐标s=[f原创 2021-03-12 17:35:15 · 231 阅读 · 0 评论 -
论文阅读笔记《A Deep Regression Model for Safety Control in Visual Servoing Applications》
核心思想 该文介绍了一种在视觉伺服应用中利用深度回归模型来保证人机交互安全的一种方法。在目前的很多机器人应用场景中,人机交互(HRI)是一种非常常见的工作模式,但在该模式下,机器人的运动不仅要考虑到预定任务的完成,还需要考虑避免与人发生碰撞和冲突。当人接近机器人或者工件时,机器人必须运动到排斥位姿(repulsive pose),以与人类的肢体保持一个安全距离。但作者认为这个排斥位姿应该在一定合适的范围之内,因为移动的太远的话,一方面没有必要,另一方面会使视觉伺服的收敛过程变得太长。 为了寻找最佳的原创 2021-03-11 11:31:07 · 197 阅读 · 0 评论 -
论文阅读笔记《Quickly Inserting Pegs into Uncertain Holes using Multi-view Images and Deep Network Trained》
核心思想 该文提出一种使用基于学习的视觉伺服方法实现插轴入孔(Peg-in-hole)操作的方法, 整个操作可以分成三个阶段:第一阶段通过视觉伺服方法引导机械手靠近洞口,第二阶段通过螺旋搜索的方法使轴与孔对齐,第三阶段使用阻抗控制把轴插入孔中,该过程如下图所示 该文主要介绍了第一阶段基于学习的视觉伺服过程。在机械手的两侧安装了两个摄像头,用于观察小孔与轴之间的相对位置,摄像头的安装位置及采集图像过程如下图所示 两侧相机分别捕捉到机械手两侧的图像,并且将其中手爪附近160 * 80像素的区域分原创 2021-03-10 16:56:32 · 422 阅读 · 0 评论 -
论文阅读笔记《FlowControl: Optical Flow Based Visual Servoing》
核心思想 该文提出一种基于光流的视觉伺服控制方法,实现了机械臂的“一眼”模仿(One-shot Imitation)。所谓“一眼”模仿,就是机器人只需要看一次示教过程,就能跟随示教视频完成相应的动作。首先,人工控制机械臂完成一个动作,并使用固定的机械臂上的摄像头录制完整的示教视频。视频涵盖了整个运动轨迹和目标物体,将视频分解为若干个关键帧,每一帧都表示运动轨迹中的一个位置。然后使用当前摄像头捕捉的图像与第一帧做对比,计算目标物体之间的光流信息,并结合RGB-D相机获取的深度信息,获取到3D位置信息。最后原创 2021-03-09 15:42:55 · 315 阅读 · 0 评论 -
论文阅读笔记《Position-based monocular visual servoing of an unknown target using online self-supervised》
核心思想 该文提出一种基于位置的单目视觉伺服算法,与传统的PBVS不同,该文利用预训练的CNN从环境中提取特征信息,并通过一个简单的线性回归过程输出概率图(反映每个像素点属于目标物体的概率值)。然后结合拓展卡尔曼滤波(EKF)来确定目标物体在图像中的精确位置。最后利用迭代线性二次型调节器(iLQR)来实现视觉伺服的控制过程。整个过程如下图所示 首先,单目相机采集的图像输入到一个CNN特征提取器,该CNN预先在ImageNet上做过训练,能够提取图像的特征信息。将特征信息输入到一个简单的线性回归模型原创 2021-01-18 21:03:22 · 334 阅读 · 0 评论 -
论文阅读笔记《KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manip》
核心思想 该文提出一种基于关键点的视觉伺服方法。关键点顾名思义就是用图像中若干个具有代表性的点来表征整幅图像中的关键信息,这一技术在人脸识别、目标检测、图像生成等领域都有应用,该文则是利用关键点信息来计算机器人的运动方向和速度。整个实现过程如下图所示 首先,利用自动编码器实现一个自监督的关键点提取模型,编码器fff将图像xxx映射至隐藏层zzz,关键点提取器Φ\PhiΦ从隐藏层中提取关键点kkk,解码器ggg再根据关键点信息还原得到图像x′x'x′。编码解码阶段就不介绍,这里介绍一下关键点提取的过原创 2021-01-14 16:19:03 · 505 阅读 · 1 评论 -
论文阅读笔记《Training Deep Neural Networks for Visual Servoing》
核心思想 该文应该是基于深度学习的视觉伺服算法中比较经典的一篇文章了,基本奠定了基于深度学习的视觉伺服算法的雏形。文章首先介绍了从视觉伺服(VS)到直接视觉伺服(DVS)的变化过程,其实就是将视觉伺服从一个利用几何关系和动力学关系求解控制律的过程,过渡到一个优化问题,通过最小化期望位置图像和当前位置图像之间的差异,来寻找最优的期望位姿。 而进一步发展到基于深度学习(CNN)的视觉伺服,就是利用一个神经网络,通过学习的方式来完成上述的优化过程,网络的输入是当前位置的图像和参考位置图像,输出则是两幅图原创 2021-01-13 15:42:27 · 571 阅读 · 0 评论 -
论文阅读笔记《Visual servoing set free from image processing》
核心思想 该文提出一种无需提取图像特征的视觉伺服方法,在经典的视觉伺服过程中,通常会选择若干个特征点,以特征点的坐标值作为特征值,计算期望位置图像和当前位置图像中特征值(特征点的坐标)之间的差异,来驱动控制律的计算。而该文则是使用整幅图像的灰度值作为特征值,也就是让当前位置图像中所有像素点的灰度值与期望位置图像中所有像素点的灰度值都非常接近,这就表示机器人已经移动到期望位置了。换句话说该文选择所有像素点的灰度值作为特征值,而不是经典算法中选择3个点的坐标(包含x和y两个方向,共6个值)作为特征值,显然经原创 2021-01-12 21:31:13 · 413 阅读 · 0 评论 -
论文阅读笔记《DFVS: Deep Flow Guided Scene Agnostic Image Based Visual Servoing》
核心思想 该文提出一种利用光流估计和深度估计的基于图像的视觉伺服算法,传统的基于图像的视觉伺服算法中有两个难点:一是需要人工选择特征点,而且特征点必须在相机的视野范围之内,一旦特征点丢失,视觉伺服过程可能失效;二是需要知道特征点的深度信息,传统方法通常采用近似或根据机器人里程计进行估计的方法来获得。针对这两个难点,该文提出了利用深度学习方法来进行光流估计和深度估计的方法,光流估计可以得到两幅图像中对应像素点之间偏移关系,即光流信息就能够反映出当前位置图象和期望位置图像之间每个像素的偏移情况,也就是IBV原创 2021-01-11 11:27:19 · 615 阅读 · 0 评论 -
论文阅读笔记《An Image Based Visual Servo Approach with Deep Learning for Robotic Manipulation》
核心思想 该文提出一种基于深度学习的图像视觉伺服方法,整篇文章乏善可陈,就是利用一个神经网络输入当前位置和期望位置的图像,输出当前位置和期望位置得偏差,并根据这个偏差制定控制律。整个控制流程如下图所示 该文设计的神经网络结构如下图所示算法评价 作者把这种方法归到基于图像的视觉伺服(IBVS)中,我觉得是不合适的,因为IBVS中计算的偏差,应该是图像坐标系中特征点之间的偏差,而不是转化成相机位姿之间的偏差,这应该属于PBVS,基于位置的视觉伺服。如果大家对于深度学习与计算机视觉领域感兴趣,原创 2021-01-08 11:20:19 · 415 阅读 · 0 评论 -
论文阅读笔记《Learning to Switch CNNs with Model Agnostic Meta Learning for Fine Precision Visual Servoing》
核心思想 该文提出一种选择型CNN来实现精确的视觉伺服过程,作者发现现有的基于深度学习的视觉伺服方法能够实现的精度都不高,作者认为这是由于目前的学习方法都是把初始位置和期望位置的图像输入到网络中,然后得到两个图像之间的变换矩阵,而输入的初始位置通常与期望位置偏差较大,导致网络在处理大范围偏移(large-scale-displacements,LSD)时效果较好,但当机械臂接近期望位置时,也就是处理小范围偏移(small-scale-displacements ,SSD)时效果反而更差了。因此作者提出一原创 2021-01-05 16:47:05 · 251 阅读 · 0 评论 -
论文阅读笔记《Siamese Convolutional Neural Network for Camera Pose Estimation and Visual Servoing》
小样本学习&元学习经典论文整理||持续更新核心思想 该文使用基于孪生网络结构的CNN来实现相机的位姿估计和视觉伺服,过程也比较好理解,输入是当前位置的图像和期望位置的图像,输出的是两个图像之间的变换矩阵(包含平移矩阵和由四元数表示的旋转矩阵)。网络的结构如下图所示孪生网络的两个分支分别对应当前位置图像IAI_AIA和期望位置的图像IBI_BIB,分别提取图像中的特征信息,然后将通道压缩至96,并且展成一维特征向量,再进行拼接。最后经过7个全连接层,输出7个预测结果(平移参数x,y,z和原创 2021-01-04 11:25:50 · 552 阅读 · 0 评论 -
论文阅读笔记《Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous》
核心思想 该文提出一种基于深度学习的视觉伺服方法和抓取检测方法,视觉伺服部分还是利用卷积神经网络取代了图像雅可比矩阵的计算过程,输入当前图像和期望位置图像,输出动作控制律,然后再利用机器人内部的控制器实现速度的控制。随着迭代过程不断更新当前图像,并利用另一个神经网络来预测抓取的位置和方向,当机械臂位置到达期望位置后,控制机械爪完成抓取动作。整个控制流程如下图所示,这里只介绍视觉伺服部分,抓取部分暂不介绍 为了实现速度的预测,作者设计了四种网络结构来实现视觉伺服的过程模型一就是简单的将当前图像和原创 2020-12-29 15:56:28 · 678 阅读 · 0 评论 -
论文阅读笔记《Exploring Convolutional Networks for End-to-End Visual Servoing》
核心思想 该文研究了使用卷积神经网络实现端到端的视觉伺服过程,核心思想在于利用卷积神经网络根据当前图像和期望位置图像,来预测两幅图像之间的齐次变换矩阵cc∗T^{c^*}_cTcc∗T,然后采用基于位置的视觉伺服方法(PBVS)根据变换矩阵得到速度和角速度的控制律。过程如下图所示 该文采用光流估计中的经典网络FlowNet来实现齐次变换矩阵的估计,输入是当前的图像III和期望的图像I∗I^*I∗,输出是一个位姿向量p=[x,q]p=[x,q]p=[x,q],xxx表示平移矩阵,qqq表示旋转矩阵原创 2020-12-28 16:05:32 · 235 阅读 · 0 评论 -
论文阅读笔记《Vision Based Object Identification and Tracking for Mobile Robot Visual Servo Control》
核心思想 该文提出一种基于SIFT特征的视觉伺服方法,与常见的视觉伺服方法使用预先定义好的特征点进行匹配和位置误差计算的方式不同,该文利用SIFT算法从模板图像中寻找到尺度不变的特征点,然后从当前图像和期望图像中分别寻找与模板对应的匹配点,然后计算所有匹配点的位置平均值来作为特征,并计算当前图像和期望图像特征之间的差异,来驱动视觉伺服的计算。作者把整个过程看作是一个目标的识别和追踪的过程,就是从图像中找到我要追踪的目标,确定其在图像中的位置,利用视觉伺服的方法,使机器人运动到期望的位置。过程如下图所示原创 2020-12-23 16:33:26 · 269 阅读 · 0 评论 -
论文阅读笔记《Gaussian process-based nonlinear predictive control for visual servoing ofconstrained mobile》
核心思想 该文提出一种基于高斯过程的非线性预测控制模型用于移动机器人的视觉伺服控制,具体来说常见的伺服控制只是根据视觉上的差异来指定控制律,但却不能保证机器人真的按照指定的控制律来运动。比如我希望机器人以某个特定的速度运动,但实际上由于受到各种环境信息和机器人动力学状态的干扰,往往无法保持某个特定的速度。而机器人的动力学模型是未知的非线性的,因此该文利用一个多元高斯模型来对机器人动力学关系进行建模,并利用非线性模型预测控制方法(NMPC)来对机器人的速度进行控制。具体的控制流程如下图所示 如图所示原创 2020-12-22 16:39:08 · 417 阅读 · 0 评论 -
论文阅读笔记《Augmented Image-Based Visual Servoing of a Manipulator Using Acceleration Command》
核心思想 该文提出一种增强的基于图像的视觉伺服方法,其主要的特点在于控制律不是对于速度进行设计,而是针对加速度进行控制。这种方法能够获得更加平滑,更加线性的移动轨迹,降低了目标特征点移出视野范围的风险。在机器人的控制方面采用了计算力矩法(computed torque method,CTM)来实现对于机器人关节加速度,速度和位置的控制。整个控制流程如下图所示 由上图可知,利用期望特征与当前特征之间的差异可以计算出希望达到的加速度矩阵AcA_cAc(包含关节的角加速度和线加速度),而常规的IBVS原创 2020-12-21 20:30:49 · 308 阅读 · 0 评论 -
论文阅读笔记《Visual Servo Regulation of Wheeled Mobile Robots with an Uncalibrated Onboard Camera》
核心思想 该文提出一种无需标定的基于图像的视觉伺服方法,相对于其他的视觉伺服方法其主要的优势在于无需提前对相机的内参进行标定,而且在视觉伺服过程中能够对相机内参进行准确的估计。该文将移动机器人向目标位置移动的过程分为三步:第一步在原地旋转,使机器人指向目标方向;第二步,沿直线行驶到目标位置;第三步,在目标位置处旋转调整机器人的朝向。整个过程如下图所示 其中,在第一阶段还会完成对于相机内参的估计过程。首先,我们建立相机当前位置的坐标系FcF^cFc和期望位置的坐标系F∗F^*F∗,然后就可以得到在F原创 2020-12-19 21:32:05 · 320 阅读 · 1 评论 -
论文阅读笔记《Analysis of Classical and New Visual Servoing Control Laws》
核心思想 该文首先对经典的视觉伺服控制律进行了分析,然后提出了两种新的控制律制定方法:带有行为控制参数(behavior controller parameter)的控制律和伪全局渐进稳定(pseudo global asymptotic stability,pseudo-GAS)的控制律。经典的近似图像雅可比矩阵Ls^\hat{L_s}Ls^的方法有以下三种Ls∗L_{s^*}Ls∗表示使用初始时刻相机与目标特征点之间的距离来近似图像雅可比矩阵,此时图像雅可比矩阵是一个固定的常量,下文称该方原创 2020-12-16 15:11:33 · 197 阅读 · 0 评论 -
论文阅读笔记《An Intelligence Image Processing Method of Visual Servo System in Complex Environment》
核心思想 该文提出一种融合了实例分割算法的视觉伺服方法,思路也不复杂,在复杂环境下(如存在反光表面,低照度,复杂背景,物体遮挡等情况),使用传统的图像特征提取的方法可能会受到环境的限制,导致特征点丢失。而该文利用基于深度学习的实例分割算法,将目标物体在复杂的环境中分割出来,作为感兴趣区域。然后在感兴趣区域内部进行特征的提取,描述,匹配等。最后利用特征点坐标之间的差异,设计控制律。整个视觉伺服流程如下图所示 实例分割与语义分割不同,他不仅能够把同一种类别的物体,沿着物体的边缘轮廓分割出来,而且能够区原创 2020-12-15 20:25:53 · 234 阅读 · 0 评论 -
论文阅读笔记《A Real-Time Model Based Visual Servoing Application for a Differential Drive Mobile Robot》
核心思想 该文提出一种基于模型的视觉伺服方法(MBVS),其本质上还是基于图像的视觉伺服(IBVS),但是在计算过程中结合了移动机器人的动力学模型,建立起由图像到机器人的移动速度和角速度再到机器人的两个轮子转速的对应关系,因此称之为基于模型的视觉伺服。整个控制流程如下图所示 利用一个网络摄像头获取图像特征信息,计算出当前状态和期望状态之间的差异,根据视觉伺服理论确定目标转速w∗w^*w∗,通过UART通讯接口将信息传递到机器人内部控制模块,利用一个P的控制器对电机进行直接的控制。 作者首先建立原创 2020-12-14 15:29:30 · 273 阅读 · 1 评论 -
论文阅读笔记《Adaptive Image-based Visual Servoing of Wheeled Mobile Robots with Fixed Camera Configuratio》
核心思想 该文提出一种采用固定相机(eye-to-hand)的视觉伺服方法,通过一个安装在天花板上的相机,来引导移动机器人到达指定位置。惯性坐标系WWW,相机坐标系CCC和机器人坐标系RRR如下图所示因为是平面移动机器人因此自由度只包含x,yx,yx,y方向上的移动和偏航角θ\thetaθ,在机器人坐标系xxx轴上距离为ddd处带有一个圆形标记PPP,以方便相机确定机器人所在的位置。作者首先推导了在像素坐标系下,PPP点的位置坐标的导数与机器人移动速度之间的对应关系上式中Qp(t)Q_p(t)Q原创 2020-12-13 13:06:32 · 276 阅读 · 0 评论 -
论文阅读笔记《Adaptive Image-Based Visual Servoing With Temporary Loss of the Visual Signal》
核心思想 该文提出一种利用单应性矩阵解决视觉伺服过程中目标特征点丢失的方法,同时还提出一种利用Q-learning学习实现视觉伺服中β\betaβ参数的自适应调整算法。在移动机器人运动过程中,可能会因为障碍物的遮挡等问题,导致部分目标特征点的暂时丢失,使得视觉伺服失效。对于移动机器人,其包含三个自由度的运动,X,YX,YX,Y方向上的平移和偏转角θ\thetaθ,为了保证视觉伺服的精度,该文选择四组的特征点用于计算图像雅可比矩阵。该文利用QR码(二维码)作为目标特征,并保留运动过程中最后一次成功检测到所原创 2020-12-11 12:13:21 · 395 阅读 · 0 评论 -
论文阅读笔记《Adaptive Image-Based Visual Servoing Using Reinforcement Learning With Fuzzy State Coding》
核心思想 该文提出一种利用模糊状态编码的强化学习(Q-learning)算法来实现自适应基于图像的视觉伺服控制。基于图像的视觉伺服过程中,图像雅可比矩阵中的距离参数ZZZ是未知的,需要对其进行估计,方法有三种:取每个时刻目标特征点的距离进行估计Lˉs\bar{L}_sLˉs;取初始时刻目标特征点的距离进行估计Lˉs∗\bar{L}_{s^*}Lˉs∗;两种方法混合(Lˉs∗+Lˉs)/2(\bar{L}_{s^*} + \bar{L}_{s})/2(Lˉs∗+Lˉs)/2。但这些方法都不能根据状原创 2020-12-10 22:34:21 · 434 阅读 · 0 评论 -
论文阅读笔记《Adaptive Active Visual Servoing of Nonholonomic Mobile Robots》
核心思想 该文提出一种采用主动视觉伺服方式的移动机器人控制方法,这里的主动视觉伺服是指相机不再是固定在机器人之上的,而是安装在一个云台上,可以自主旋转的。主动视觉伺服的好处就是通过相机的转动调整能够保证目标特征点始终处于相机视野的中间,避免了丢失目标特征点的问题。整个控制过程可以分成两个阶段:第一个阶段设计了一个自适应相机追踪控制器来保证目标特征点在视觉伺服过程中始终保持在图像中心;第二阶段,采用一个切换控制器(switched controller)来控制移动机器人沿直线行驶到目标位置。整个控制过程如原创 2020-12-09 17:57:43 · 282 阅读 · 0 评论 -
论文阅读笔记《Self-learning Visual Servoing of a Robot Manipulator using Explanation-based Fuzzy Neural Ne》
核心思想 该文提出了一种基于模糊神经网络的Q-learning算法来实现机械臂的视觉伺服控制,该文牵涉的元素有很多,包括:自学习、视觉伺服、Q-learning、模糊神经网络(FNN)、基于解释的神经网络(EBNN)等。虽然该文声称是采用了基于图像的视觉伺服,但甚至连IBVS中的核心元素图像雅可比矩阵都被取消了,因此与传统的IBVS相比该文还是有很大的改变。因为该文是一篇博士论文,所以提出了两个模型:Q-learning 模糊神经网络(QLFNN)和Q-learning基于解释的模糊神经网络(QLEBF原创 2020-12-08 19:39:40 · 349 阅读 · 0 评论 -
论文阅读笔记《Neural network Reinforcement Learning for visual control of robot manipulators》
核心思想 该文提出一种将神经网络强化学习算法和视觉伺服相结合的方法,本质上还是一种选择模式的控制器,当满足一定条件时切换为视觉伺服控制器,不满足条件时就选择强化学习控制器。本文采用了两种强化学习算法Q-learning和 SARSA,并且将神经网络与强化学习相结合,具体的结合方式就是用一个神经网络取代了Q-learing中的Q-table查表的过程,将状态和动作作为输入,直接输出对应的Q值,并且利用误差损失来更新神经网络的权重参数。损失函数如下 神经网络既需要计算Q值,又需要计算损失,因此需要一个原创 2020-12-05 16:19:57 · 398 阅读 · 0 评论 -
论文阅读笔记《Decoupled Visual Servoing With Fuzzy Q-Learning》
核心思想 该文提出一种结合模糊Q-learning算法的解耦视觉伺服方法,看着名字就知道文章中掺杂的元素有很多,首先本文的研究对象是四轴无人机的视觉伺服控制,因为无人机属于欠驱动动态系统(underactuated dynamic systems),即输入只有四个参数(四个旋翼的转速),但需要控制6个自由度。所以作者提出将无人机的俯仰和翻滚动作与其他动作进行解耦,用两个视觉伺服控制器分别控制这两组自由度。该文采用的是基于图像的视觉伺服方法,具体而言特征信息是利用图像边缘信息获取的,作者提出了一种新型的边原创 2020-12-04 11:34:43 · 373 阅读 · 0 评论 -
论文阅读笔记《A Hybrid Visual Servo Controller for Robust Grasping by Wheeled Mobile Robots》
核心思想 该文提出一种将基于图像的视觉伺服算法(IBVS)和基于强化学习的Q-learning学习算法相结合的控制算法,实现了轮式移动机器人(WMR)的自主导航控制。基于图像的视觉伺服算法能够利用当前图像中目标特征点的位置和期望图像中目标特征点位置之间的差异,通过图像雅可比矩阵(交互矩阵),推算出对于机器人的控制律,该控制律是李雅普诺夫稳定的,且控制精度较高。但该方法存在一个问题,就是当目标特征点在移动过程中离开了机器人的视野范围(FOV)时,该方法失去了作用,无法实现有效的闭环控制了。因此许多人围绕这原创 2020-12-02 17:35:49 · 703 阅读 · 0 评论