位姿估计
主要介绍6D物体位姿估计的原理与各种前沿算法
Guoguang Du
维护公众号【3D视觉前沿】
https://georgedu.github.io/
展开
-
刚体6D位姿估计方法综述
方法分类(Correspondences-based method)(Template-based method)(Voting-based method) (Regression-based method)一个简单的表格是这么创建的:姿态估计方法已知信息核心思路代表方法适用场景基于2D-3D对应的方法3D模型3D点与以及投影后的带纹理图像将3D模型投影得到RG...原创 2019-07-31 20:40:49 · 36364 阅读 · 210 评论 -
物体6D位姿的含义
6D是指6个自由度,代表了3个自由度的位置(也叫平移(Translation)),以及3个自由度的空间旋转。那么具体是如何变换的呢?如果了解相机的内外参,就可以得到下面的表示:Tc=Rcw∗Tw+tcwT_c = R_{cw} * T_w + t_{cw}Tc=Rcw∗Tw+tcw,其中RcwR_{cw}Rcw代表由世界系到相机系的旋转,tcwt_{cw}tcw代表由世界系到相机系的平移。而物体的6D位姿,是指相机系下物体的RtRtRt,也即将物体本身的坐标系当成世界系,变换到相机系的RtR原创 2020-05-13 17:23:45 · 21000 阅读 · 30 评论 -
最远点采样(Farthest Point Sampling)介绍
最远点采样(Farthest Point Sampling)是一种非常常用的采样算法,由于能够保证对样本的均匀采样,被广泛使用,像3D点云深度学习框架中的PointNet++对样本点进行FPS采样再聚类作为感受野,3D目标检测网络VoteNet对投票得到的散乱点进行FPS采样再进行聚类,6D位姿估计算法PVN3D中用于选择物体的8个特征点进行投票并计算位姿。对于FPS算法的原理,两篇博文:PointNet++的pytorch实现代码阅读,以及 PointNet++详解与代码已经介绍的非常详细了,一句话概原创 2020-07-07 17:56:49 · 23014 阅读 · 6 评论 -
机器人抓取中物体3D定位算法介绍
引言常见的目标检测方法能够获得物体的2D包围盒(Bounding Box),然而这对于机器人抓取任务是不够的。机器人抓取需要知道物体的准确朝向,进而确定抓取点。针对纹理丰富的物体,可以使用SIFT等特征点与模板图像匹配进行定位;对于弱纹理或无纹理物体,可以使用稳定的梯度或者深度图法向进行匹配,进而恢复位姿;一些基于parts进行投票的方法也取得了很好的效果;然而,这些方法对于光照和杂乱场景效果很...原创 2019-07-23 23:26:53 · 5161 阅读 · 0 评论 -
【2018ECCV】DeepIM:深度迭代匹配进行物体6D姿态估计
摘要在机器人操作和虚拟现实应用中,从图像中估计物体的6D位姿是一个非常重要的问题。鉴于直接从图像中回归得到的物体姿态精度不高,将输入图像和物体渲染得到的图像进行匹配,能够得到精确的结果。在本文中,作者提出了一种叫做DeepIM的深度神经网络:给定一个初始位姿,网络能将观测图像和渲染得到的图像匹配,迭代地优化位姿。网络训练后能够预测一个相对的姿态变换,使用了一种分开表示的3D坐标和3D朝向,并且...原创 2019-07-30 23:28:55 · 2777 阅读 · 1 评论 -
【2018CVPR】实时单目6D物体姿态估计
背景该论文发表于2018年CVPR,解决的问题是:给定单幅RGB图像,估计图像中包含目标物体的6DoF位姿;6DoF位姿包括了3维位置和3维空间朝向;传统方法包括以下两种:基于RGB图像的方法,或者使用edge特征,但对复杂背景敏感,或者使用feature points,但无法处理弱纹理或者无纹理情况;基于RGB-D的方法,依赖传感器,本身有一定限制。近年来深度学习的方法,可以给6DoF位姿估...原创 2019-07-28 18:04:45 · 5961 阅读 · 15 评论