近年来机器人主流抓取估计方法总结

最新推荐文章于 2024-05-02 22:29:10 发布
最新推荐文章于 2024-05-02 22:29:10 发布
阅读量1.4w 收藏 210
点赞数 21
分类专栏： 机器人抓取 文章标签： 机器人抓取 深度学习 抓取估计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsoftware/article/details/101194481
版权
本文总结了机器人抓取技术，包括2D平面抓取的RGB、RGB+Depth和Depth方法，6DoF空间抓取的代表性算法，以及形状补全在抓取中的应用。2D抓取适用于固定角度，6DoF则实现任意角度抓取，形状补全能提升抓取效果。此外，文章还探讨了人形抓手的挑战和特定应用场景。
摘要由CSDN通过智能技术生成

本文同步于微信公众号：3D视觉前沿，欢迎大家关注。

根据抓取的表示，应用场合等可以将机器人抓取分为2D平面抓取和6-DoF空间抓取，各自又包含很多方法，下面一一介绍。

1 2D 平面抓取：

适合工业抓取，场景是机械臂竖直向下，从单个角度去抓，抓取通常由平面内的抓取四边形，以及平面内的旋转角度表示（Oriented 2D rectangle）：
在这里插入图片描述
根据使用的数据RGB/Depth不同，又可以分为以下三类：基于RGB，基于RGB+Depth，和基于Depth。

1.1 基于RGB的抓取估计

数据集包括：Cornell数据集（http://pr.cs.cornell.edu/grasping/rect_data/data.php）和Jacquard数据集https://jacquard.liris.cnrs.fr/，为 人工构建；
在这里插入图片描述
基于以上的数据集，出现了很多方法，代表作是2014-Deep Learing for Detecting Robotic Grasps，2014-Real-Time Grasp Detection Using Convolutional Neural Networks，2018-Real-world Multi-object, Multi-grasp Detection等，首先生成大量抓取框候选，再进一步优化得到最终抓取；
在这里插入图片描述
亚马逊论文2015-Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours使用机器自动采集训练集，训练了一个平面抓取估计算法，其数据集如下：

最低0.47元/天 解锁文章
Guoguang Du
关注
专栏目录
点云从入门到精通技术详解100篇-基于三维点云的机器人抓取位姿检测（续）
getusushu的博客
11-06 335
集到的深度信息会存在噪点，因此需要将生成的场景点云进行预处理，获得平滑、降采样处理场景点云，本文设计的预处理操作更能从冗杂的场景点云中提取清晰、平滑的目标点云，便于后续的抓取位姿采样，提高后续算法的处理效率。因此需要对场景点云进行适当的分割，仅保留目标物体的点云，整个过程可以通过。场较小时，空间中的点云密度会更加提高；觉子系统的效率，再保持全局点云几何形状不改变的前提下，通过对目标点云进行。体素降采样可以快速地减少点云数据并同时保持点云的形。个点，由于我们实施抓取的目标物体只占整个场景点云图的一部分，
机器人抓取中物体定位算法概述
热门推荐
dsoftware的博客
05-05 1万+
1. 引言 机器人抓取的首要任务，是确定要抓什么，也就是需要定位目标物体在输入数据中的位置。这个过程可以分为三个层次，分别为物体定位但不识别、物体检测、物体实例分割。物体定位但不识别是指获得目标物体的2D/3D范围但是不知道物体的类别；目标检测是指得到目标物体的2D/3D包围盒，同时识别目标物体的类别；目标实例分割提供目标物体所占有的像素或者点级别的区域信息，同时识别目标物体的类别。本文来自论文h...
机器人抓取系列——姿态估计
toCVer的博客
06-15 1043
姿态估计
机器人识别抓取笔记（基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述）
m0_52785249的博客
11-23 7026
Real-Time Deep Learning Approach to Visual Servo Control and Grasp Detection for Autonomous Robotic Manipulation （基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述） 1 引言 找到理想抓取配置的抓取假设的子集包括：机器人将执行的任务类型、目标物体的特征、关于物体的先验知识类型、机械爪类型，以及最后的抓取合成。 1.1 抓取综合方法 抓取综合方法是机器人抓取问题的核
机器人抓取检测算法基于多模态数据
02-26
基于深度学习的机器人抓取检测 采用康奈尔大学抓取数据集 We consider the problem of detecting robotic grasps in an RGB-D view of a scene containing objects. In this work, we apply a deep learning approach to solve this problem, which avoids time-consuming hand-design of features. This presents two main challenges. First, we need to evaluate a huge number of candidate grasps. In order to make detection fast and robust, we present a two-step cascaded system with two deep networks, where the top detections from the first are re-evaluated by the second. The first network has fewer features, is faster to run, and can effectively prune out unlikely candidate grasps. The second, with more features, is slower but has to run only on the top few detections. Second, we need to handle multimodal inputs effectively, for which we present a method that applies structured regularization on the weights based on multimodal group regularization. We show that our method improves performance on an RGBD robotic grasping dataset, and can be used to successfully execute grasps on two different robotic platforms.
基于视觉的机器人抓取：从物体定位、物体姿态估计到平行抓取器抓取估计
3D视觉工坊
06-29 8057
编者荐语抓取综合方法是机器人抓取问题的核心，本文从抓取检测、视觉伺服和动态抓取等角度进行讨论，提出了多种抓取方法。转载自丨3D视觉开发者社区目录/ contents1. 引言 1.1抓取综合方法 1.2 基于视觉的机器人抓取系统2. 抓取检测、视觉伺服和动态抓取 2.1抓取检测 2.2 视觉伺服控制 2.3动态抓取3. 本文实现的方法...
基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计——综述
cocapop的博客
03-30 7721
本文对基于视觉的机器人抓取进行了全面的综述。我们总结了基于视觉的机器人抓取过程中的三个关键任务，即物体定位、物体姿态估计和抓取估计。详细地说，对象定位任务包括无分类的对象定位、对象检测和对象实例分割。此任务提供输入数据中目标对象的区域。物体姿态估计任务主要是对6D物体姿态进行估计，包括基于对应关系的方法、基于模板的方法和基于投票的方法，为已知物体提供抓取姿态的生成。抓握估计任务包括2D平面抓握方法和6DoF抓握方法，其中前者被约束为从一个方向抓握。这三种任务可以实现不同组合的机器人抓取。
【机器人识别抓取】基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计
limingmin2020的博客
09-19 3065
找到理想抓取配置的抓取假设的子集包括：机器人将执行的任务类型、目标物体的特征、关于物体的先验知识类型、机械爪类型，以及最后的抓取合成。
基于RGB图像的机器人抓取算法汇总
qq_29462849的博客
02-25 3505
作者：Tom Hardy Date：2020-2-23 来源：大盘点|基于RGB图像下的机器人抓取 前言 近期读取了一些最新基于RGB图像下的机器人抓取论文，在这里分享下思路。 1、Optimizing Correlated Graspability Score and Grasp Regression for Better Grasp Prediction 本文提出了一种新的深度卷积网络结构...
MATLAB算法实战应用案例精讲-【人工智能】机器人标定方法
qq_36130719的博客
10-01 1028
机器人标定技术是提高机器人末端绝对定位精度的重要方法。可分为三个层次：一是关节级标定，二是机器人运动学标定，三是机器人动力学标定。
社交机器人对社会舆论的影响因素研究
最新发布
fzq0625的博客
05-02 139
近年来，社交机器人已经成为人工智能领域的一个最新的研究方向。由于新冠疫情、俄乌冲突、英国脱欧等一系列重大事件中，社交机器人对公众舆论产生了重要影响，学界对社交机器人的关注度日渐升高。本文提出了基于社交机器人的社会舆论形成过程模型，分为舆论出现、争夺影响力、舆论形成3个阶段，社交机器人可以在3个阶段介入和影响。研究了社交机器人的级联效应、工作原理、影响因素，指出媒体类型、事件模糊性和争议性、受众群体等均是影响社会舆论的主要因素。
机器人抓取中物体3D定位算法介绍
dsoftware的博客
07-23 5148
引言 常见的目标检测方法能够获得物体的2D包围盒（Bounding Box），然而这对于机器人抓取任务是不够的。机器人抓取需要知道物体的准确朝向，进而确定抓取点。针对纹理丰富的物体，可以使用SIFT等特征点与模板图像匹配进行定位；对于弱纹理或无纹理物体，可以使用稳定的梯度或者深度图法向进行匹配，进而恢复位姿；一些基于parts进行投票的方法也取得了很好的效果；然而，这些方法对于光照和杂乱场景效果很...
机器人抓取基础
cocapop的博客
12-05 610
视觉伺服控制：视觉伺服，一般指的是，通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，通过图像反馈的信息，来让机器系统对机器做进一步控制或相应的。找到理想抓取配置的抓取假设的子集包括：机器人将执行的任务类型、目标物体的特征、关于物体的先验知识类型、机械爪类型，以及最后的抓取合成。视觉伺服的目的：通过将相机连续获得的图像与参考图像进行比较，引导操纵器到达机器人能够完全看到物体的位置，从而满足抓取检测条件。基于视觉的机器人抓取——从物体定位、物体姿态估计到平行抓取器抓取估计：综述。
机器人抓取系列——DBSCAN
toCVer的博客
06-24 247
DBSCAN
机器人抓取与操作简介
qq_18076309的博客
09-09 4443
文章目录1. 机器人抓取与操作简介1.1 抓取问题描述1.2 抓取检测方法学1.2.1 分析法1.2.2 数据驱动（经验）法1.2.3 分析法 vs. 数据驱动法1.3 数据驱动法的分类1.3.1 抓取已知的对象1.3.2 抓取相似的对象1.3.3 抓取未知的对象1.4 抓取Pipeline2. 移动抓取系统组成3. 技术点1: 机械臂与标定（相机配置方案）3.1 Eye-in-hand3.2 Eye-to-hand4. 技术点2: 物体识别与姿态估计5. 技术点3: 抓取检测5.1 具有已知定位和姿势5.
基于三维点云的机器人杆件目标识别与抓取（五）
weixin_42734533的博客
12-19 1229
@基于多层条件阈值判据的目标杆件识别 前言 如上节所述，基于模型特征描述匹配的目标识别方法，对场景点云数据的精度要求高，且要求识别过程视角保持不变，因此基于模型特征描述匹配的目标杆件识别方法在实际识别过程中存在适应性不足的问题。根据当前的实验条件和实验要求，考虑到桁架杆件外形特征，本文提出多层条件阈值判据的目标杆件识别方法。该方法需要针对场景点云数据子集创建最小包围盒，根据杆件特征设置不同的阈值条件，通过层层筛选，进而完成场景目标杆件的识别，通过实验验证可知，该方法能够有效实现场景杆件目标的识别且识别率较
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值