- 博客(15)
- 收藏
- 关注
RSS订阅原创 最远点采样(Farthest Point Sampling)介绍
最远点采样(Farthest Point Sampling)是一种非常常用的采样算法，由于能够保证对样本的均匀采样，被广泛使用，像3D点云深度学习框架中的PointNet++对样本点进行FPS采样再聚类作为感受野，3D目标检测网络VoteNet对投票得到的散乱点进行FPS采样再进行聚类，6D位姿估计算法PVN3D中用于选择物体的8个特征点进行投票并计算位姿。对于FPS算法的原理，两篇博文：PointNet++的pytorch实现代码阅读，以及 PointNet++详解与代码已经介绍的非常详细了，一句话概
2020-07-07 17:56:49
23235
6
原创 物体6D位姿的含义
6D是指6个自由度，代表了3个自由度的位置（也叫平移（Translation）），以及3个自由度的空间旋转。那么具体是如何变换的呢？如果了解相机的内外参，就可以得到下面的表示：Tc=Rcw∗Tw+tcwT_c = R_{cw} * T_w + t_{cw}Tc=Rcw∗Tw+tcw，其中RcwR_{cw}Rcw代表由世界系到相机系的旋转，tcwt_{cw}tcw代表由世界系到相机系的平移。而物体的6D位姿，是指相机系下物体的RtRtRt，也即将物体本身的坐标系当成世界系，变换到相机系的RtR
2020-05-13 17:23:45
21155
31
原创 机器人抓取中物体定位算法概述
1. 引言机器人抓取的首要任务，是确定要抓什么，也就是需要定位目标物体在输入数据中的位置。这个过程可以分为三个层次，分别为物体定位但不识别、物体检测、物体实例分割。物体定位但不识别是指获得目标物体的2D/3D范围但是不知道物体的类别；目标检测是指得到目标物体的2D/3D包围盒，同时识别目标物体的类别；目标实例分割提供目标物体所占有的像素或者点级别的区域信息，同时识别目标物体的类别。本文来自论文h...
2020-05-05 19:10:29
10489
7
原创 2020-ImVoteNet: Boosting 3D Object Detection in Point Clouds with Image Votes-结合图像投票提升点云3D检测
1. 摘要这篇文章的第一作者是Charles R. Qi，同时也是PointNet，PointNet++，Frustum PointNets和VoteNet的一作，代码目前没有开源。之前进行室内3D检测的SOTA算法VoteNet只使用了point cloud，而point cloud具有以下劣势，点云稀疏，缺少颜色信息，而且数据包含传感器噪声。相对而言，images具有更高的分辨率以及丰富的...
2020-02-06 11:52:54
3403
原创 【2018ICRA】Robotic Pick-and-Place of Novel Objects in Clutter：杂乱场景下未知物体的抓取
这篇文章发表于2018年的ICRA会议，作者分别为Princeton和MIT团队的相关学者，论文有对应的项目网址。1. 总评当前主流进行抓取，首先需要recognize目标物体，之后估计6Dpose，再进行抓取。而这篇文章提出了一个“grasp-first-then-recognize”的框架，不先进行识别，而是直接从一堆物体中先抓取某个物体，之后再判断他的类别。这样有两点好处：主动地从一堆...
2019-12-24 20:16:22
2618
原创 基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下：0.综述论文1. 2D平面抓取这类方法将抓取，用平面内旋转的矩形框表示；1.1基于RGB或者RGB-D的方法采用基于目标检测类的方法，直接得到2D...
2019-10-22 20:06:42
23249
18
原创 近年来机器人主流抓取估计方法总结
根据抓取的表示，应用场合等可以将机器人抓取分为2D平面抓取和6-DoF空间抓取，各自又包含很多方法，下面一一介绍。1 2D 平面抓取：适合工业抓取，场景是机械臂竖直向下，从单个角度去抓，抓取通常由平面内的抓取四边形，以及平面内的旋转角度表示（Oriented 2D rectangle）：根据使用的数据RGB/Depth不同，又可以分为以下三类：基于RGB，基于RGB+Depth，和基于De...
2019-09-23 10:13:08
14701
18
原创 基于深度学习的3D目标检测综述-Deep Learning-Based 3D Detection: A Review
引言传统的2D目标检测，是得到目标物体的类别，以及图像平面内的包围盒，因此包含的参数为类别c，包围盒的中心(x,y)，长宽(length, width)。而3D检测的任务是得到目标物体的类别(Classification)以及带朝向的3D包围盒(Oriented 3D Bounding Boxes)，因此，其包含类别c，位置(x, y, z)，size(length, widith, heig...
2019-08-22 11:13:49
6259
18
原创 【2019CVPR】CRAVES：通过廉价的视觉系统控制机械臂
该文章发表于2019年CVPR，题目是：CRAVES: Controlling Robotic Arm with a Vision-based Economic System，核心点是使用40美元的廉价无传感器机械臂进行控制操作。论文为清华、北大以及约翰霍普金斯大学合作完成。引言本文的出发点是训练一个强化学习网络，可以对机械臂进行较为精确的控制。使用强化学习的好处是可以允许低控制精度的机械臂，...
2019-08-10 18:58:54
2527
2
原创 刚体6D位姿估计方法综述
方法分类（Correspondences-based method）（Template-based method）（Voting-based method） （Regression-based method）一个简单的表格是这么创建的：姿态估计方法已知信息核心思路代表方法适用场景基于2D-3D对应的方法3D模型3D点与以及投影后的带纹理图像将3D模型投影得到RG...
2019-07-31 20:40:49
36492
210
原创 【2018ECCV】DeepIM：深度迭代匹配进行物体6D姿态估计
摘要在机器人操作和虚拟现实应用中，从图像中估计物体的6D位姿是一个非常重要的问题。鉴于直接从图像中回归得到的物体姿态精度不高，将输入图像和物体渲染得到的图像进行匹配，能够得到精确的结果。在本文中，作者提出了一种叫做DeepIM的深度神经网络：给定一个初始位姿，网络能将观测图像和渲染得到的图像匹配，迭代地优化位姿。网络训练后能够预测一个相对的姿态变换，使用了一种分开表示的3D坐标和3D朝向，并且...
2019-07-30 23:28:55
2854
1
原创 【2018CVPR】实时单目6D物体姿态估计
背景该论文发表于2018年CVPR，解决的问题是：给定单幅RGB图像，估计图像中包含目标物体的6DoF位姿；6DoF位姿包括了3维位置和3维空间朝向；传统方法包括以下两种：基于RGB图像的方法，或者使用edge特征，但对复杂背景敏感，或者使用feature points，但无法处理弱纹理或者无纹理情况；基于RGB-D的方法，依赖传感器，本身有一定限制。近年来深度学习的方法，可以给6DoF位姿估...
2019-07-28 18:04:45
5981
15
原创 【2019ICRA】PointNetGPD: 基于PointNet直接从点云中估计抓取位姿
摘要本文发表于2019年ICRA，作者提出了一种端到端的抓取位置预测模型，能够从点云中估计出机器人的抓取位姿。和当前算法相比，作者提出的PointNetGPD是一种轻量级的网络模型，能够处理抓取器闭合区域的点云，进行抓取质量估计。网络以原始点云作为输入，能够捕捉到抓取器闭合区域点云的复杂几何结构，即使这些点云很稀疏。此外，作者基于YCB模型库，生成了350K包含真实点云和抓取的数据集用于训练。提...
2019-07-24 10:00:45
9330
原创 机器人抓取中物体3D定位算法介绍
引言常见的目标检测方法能够获得物体的2D包围盒（Bounding Box），然而这对于机器人抓取任务是不够的。机器人抓取需要知道物体的准确朝向，进而确定抓取点。针对纹理丰富的物体，可以使用SIFT等特征点与模板图像匹配进行定位；对于弱纹理或无纹理物体，可以使用稳定的梯度或者深度图法向进行匹配，进而恢复位姿；一些基于parts进行投票的方法也取得了很好的效果；然而，这些方法对于光照和杂乱场景效果很...
2019-07-23 23:26:53
5197
原创 3D视觉基本概念
3D视觉基本概念近年来，三维传感器例如激光雷达、三维扫描仪、深度相机等的发展，使三维数据的获取越来越容易，这促进了3D视觉技术的飞速发展。3D视觉技术的应用领域包括：智能无人系统（机器人、无人车、无人机等）：感知、理解周围环境、实时定位、创建地图、躲避障碍等；AR&VR：感知相机位姿与现实世界交互、感知物体位姿与物体交互；构建场景地图实现高度、遮挡等交互效果等；遥感制图...
2019-07-23 23:06:07
7564
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人