6D位姿估计学习

已于 2024-03-27 15:15:29 修改
阅读量5.5k 收藏 86
点赞数 14
分类专栏： 6pack 文章标签： 学习
于 2022-08-04 10:57:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44695308/article/details/125416836
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、基本知识

6D位姿

参见文章：物体6D位姿的含义
6D位姿，即3D位置和3D姿态（朝向），可以认为是相对概念，代表两个坐标系之间相对的位移和旋转；即拍摄时，相机坐标系相对于原始物体所在世界坐标系的平移和旋转变换[R,T]；其中R的方向为旋转轴的方向，模长为旋转角大小，为逆时针。
我们所估计的6D位姿是物体6D位姿(等价于相机外参)，即从物体所在的坐标系(以物体的重心为原点)到相机坐标系(以相机光心为原点)的旋转和平移，故即使在同一个场景下，不同物体的6D位姿也不同，但他们所在的相机坐标系是一致的。用公式表示为：Tc=R*Tm+t
其中为Tc物体在相机系的坐标，Tm为物体在世界系的坐标，R、t分别为旋转矩阵和平移向量。若将坐标扩充为4维T=[T 1]T，该公式也可以表示为：*Tc=[R t]Tm

  • 在世界系到相机系的变换过程中，可以假设有一个中间坐标系，该坐标系的原点与世界系一致，基与相机系一致。即中间坐标系的坐标与世界系只需要旋转：Tz=R*Tm,与相机系只需要平移：Tc=Tz+t
  • 旋转矩阵R的特点：旋转矩阵(Rotate Matrix)的性质分析

相机内参

参见文章：一文带你搞懂相机内参外参
如下图所示，真实世界坐标为[x,y,z]，像素平面坐标为[u,v,1]两者通过相机内参矩阵K变换
在这里插入图片描述

点配准

PnP(Perspective-n-Point)

PnP问题：2D-3D matching，已知世界坐标系坐标、2维图片坐标，以及相机内参，求Rt
在这里插入图片描述
常见算法：P3P、EPnP、BA
PnP(Perspective-n-Point)问题：各种算法总结分析

ICP(Iterative Closest Point)

3D-3D matching，已知点云P、Q，为Q中的每个点寻找P中对应的最近点，形成匹配点对。然后，将所有匹配点对的欧氏距离之和作为待求解的目标函数，求出 Rt以使目标函数最小，转换得到新的 Q ′ ，并再次找到对应的点对，如此迭代。

常见算法：SVD

ICP算法详解——我见过最清晰的解释

PPF（Point Pair Features）

3D-3D matching，已知点云P、Q，但在工业场景中，有大量缺少表面纹理或局部曲率变化很小的物体，无法利用局部特征提取匹配点对，因此基于局部特征点匹配的姿态估计方法无法使用，相反，PPF采用了一种全局的点对特征。
PPF算法
在这里插入图片描述

  • 定义点对特征
    在这里插入图片描述

  • 对于模型点云M，构建PPF，将PPF值作为key，点对作为Value构建hash表

  • 对于目标点云S，计算PPF，对某一点对（Sr，Si）在hash表中找到接近的modle点对：多对（Mr，Mi）

  • 将每对Mr与Ms移动到同一点，记录法向一致需要的旋转角alpha
    在这里插入图片描述

  • 投票找出最有的Mr和alpha

二、6D位姿估计方法

在这里插入图片描述

  • PNPnet：找若干匹配的点对，知道这些点对在物体坐标系和相机2维坐标系中的位置，由此求出R、T矩阵

1.基于对应点的方法

主要使用特征点
  • 对纹理丰富的2D图像：将3D模型投影到多个方向得到N张2D模板，并记录对应关系；对新图像，提取特征点与2D模板对应，由PnP算法求得6D位姿；
  • 对弱纹理2D：借助深度学习
  • 对3D点云：最小二乘法

2.基于模板

使用整体。对模型构造多个模板，模板含有位姿信息。目标物体与哪一个模板接近，就使用该模板的位姿；。
  • 2D图像：模板是模型在各个方向的2D投影，转为图像检索问题
  • 3D点云：模板是目标物体的完整点云，转为单视角点云和完整点云的全局配准问题。

3.基于投票

使用基元，每个像素或3D点都对整体有影响。分为间接投票、直接投票。
  • 间接投票(多见于深度学习)
    每个像素或3D点对特征点投票，再通过PnP或最小二乘法—例如6PACK
  • 直接投票
    每个像素或3D点直接对6D位姿投票.通过生成大量位姿预测，再进行选择和优化，可以得到最终的位姿。

评价标准

  • 非对称物体：ADD度量，即预测的RT和实际的RT分别作用在点云上后，所有点的平均偏差。

  • 对称物体：ADD－S度量，考虑到对称性，寻找变换后，每一点到另一片点云的最近邻点，计算他们的平均距离偏差。

    对于LineMod数据集，度量结果<模型直径的10%即估计正确；
    对于YCB-Video数据集，常用ADD-S度量，而且阈值经常设置为2cm(面向抓取应用)，而且ADD-S曲线下的面积(AUC)也被使用，其阈值设为10cm。

小结

对于纹理清晰的目标，常用基于对应的方法；无纹理或弱纹理，多用基于模板的方法；而对于有部分遮挡的目标，多采用基于投票的方法。
目前的问题：1.遮挡场景下的位姿估计效果并不好。2.即使是基于深度学习的方法，当前的数据集也不足够。
未来方向：1.如何得到可靠且大量的数据；2.如何降噪；3.仿真和现实的差距如何缩小；4.如何估计被遮挡不可见物体的6D位姿

【6D位姿估计】FoundationPose 跑通demo 训练记录
黎国溥
05-09 1万+
本文记录在FoundationPose中，跑通基于CAD模型为输入的demo，输出位姿信息，可视化结果。然后分享NeRF物体重建部分的训练，以及RGBD图为输入的demo。
6D位姿估计 综述文献总结
11-26
Vision-based Robotic Grasping From Object Localization, Object Pose Estimation to Grasp Estimation for Parallel Grippers: A Review 文献的思维导图
深度相机进行目标物体的空间姿态（位姿）估计
最新发布
sagima_sdu的博客
03-09 2079
利用深度相机（如Kinect、Intel Realsense、Zed相机等）进行目标物体的空间姿态（位姿）估计，通常结合了。通过结合深度相机的3D数据与先进算法，可实现亚毫米级位姿估计，适用于工业自动化、AR/VR、机器人导航等场景。通过结合深度学习与传统几何方法，可以实现高精度、实时的位姿估计，广泛应用于AR、机器人抓取、工业检测等领域。OpenCV相机标定。
物体6D位姿估计
Vincentvictory的博客
10-29 3869
PVNet(2019CVPR),先检测物体的可见部分，其上的每个像素预测一个指向物体关键点的方向向量，再用PANSAC对关键点进行投票，最后与物体的3D模型匹配，估计其6D位姿；聚类模型的3D特征，估计物体6D位姿，单一视图的几何约束，估计3D物体参数并恢复6D位姿，基于SSD框架SSD-6D，通过InceptionV4分支将输入映射为6个不同尺度的特征图，再分别与大小为（4+C+V+R）的卷积核进行卷积，以确定类别、2D边界框、视觉点和平面旋转角度，通过映射关系获取6D位姿)在网络完成预测后，会调用。
6D姿态估计算法汇总
weixin_44338714的博客
03-29 3579
6D目标检测，和传统的目标检测类似，都是从图像（包括点云）中去识别物体的位置。传统的2D目标检测，像是SSD、YOLO等，识别的结果是一个边界框（bounding box）而3D目标检测的结果则是一个3D的边界框。6D目标检测的输出结果包括两个部分：物体的空间坐标：x, y, z物体的三个旋转角: pitch, yaw, roll传统的6D目标检测可以被分类成以下几种：基于模版匹配基于点基于描述子基于特征基于模版匹配的算法。
6D位姿估计
做自己喜欢的事情就好啦
07-22 1万+
文章目录问题提出传统的解决方法算法 问题提出 给定单幅RGB图像，估计图像中包含目标物体的6DoF位置姿态 6DoF（degree of freedom，即自由度）即6个方向的自由度，6DoF位姿包括了3维位置和3维空间朝向 传统的解决方法 基于RGB图像的方法，或者使用edge特诊，但对复杂背景敏感，或者使用feature points（缺点：无法处理弱纹理或者无纹理的情况） 基于RGB-D的方法（缺点：依赖传感器，有限制） 算法 目标：实时预测物体的6DoF位姿 要解决的步骤：1、 预测物体3
【6D位姿估计】FoundationPose 支持6D位姿估计和跟踪 CVPR 2024
黎国溥
05-09 1万+
本文介绍6D位姿估计的方法FoundationPose，是CVPR 2024的满分论文，支持6D位姿估计和跟踪。通过大规模的合成数据训练，具有强大的泛化能力，在测试新物体时，无需进行微调。支持输入一些物体的RGBD图片，模型进行3D物体构建；生成多个假设的姿态，进行评分和排序得到最精准的姿态。
PoseNet深度网络进行6D位姿估计的PyTorch实现推理完整Notebook
06-11
PoseNet深度网络进行6D位姿估计的PyTorch实现推理完整Notebook
刚体6D位姿估计方法综述
热门推荐
dsoftware的博客
07-31 3万+
方法分类 （Correspondences-based method）（Template-based method）（Voting-based method） （Regression-based method） 一个简单的表格是这么创建的： 姿态估计方法 已知信息 核心思路 代表方法 适用场景 基于2D-3D对应的方法 3D模型3D点与以及投影后的带纹理图像 将3D模型投影得到RG...
6d位姿估计学习路线
03-03
以下是一个学习6D位姿估计的典型路线： 1. 学习基础知识： - 确保你对线性代数、微积分和概率统计有一定的了解，这些是理解6D位姿估计算法的基础。 - 学习计算机视觉的基本概念，如图像处理、特征提取和匹配等。 ...
复杂场景点云数据的6D位姿估计深度学习网络.docx
02-23
"复杂场景点云数据的6D位姿估计深度学习网络" 本文主要介绍了复杂场景点云数据的6D位姿估计深度学习网络，旨在解决机器人抓取装配任务中的物体识别和位姿估计问题。在引言中，作者介绍了机器人在抓取、装配、包装、...
Meanshift的matlab代码-6DPose:实现一些6d姿态估计算法
06-12
Meanshift的matlab代码6D姿势 实现一些6d姿态估计算法 线模 线型升级 线路模式 潜类霍夫树（LCHF） 3d凸分割 注意：LCHF 太难调整参数，所以我不打算实现它...... 先决条件 pysixd 文件：params/pysixd/t_less_toolkit/tools/ 复制自处理模型读取/渲染、数据集读取和评估 数据集 使用以下 cmd 获取 6DPose 文件夹下的数据集 wget -r -np -nH --cut-dirs=1 -R index.html http://ptak.felk.cvut.cz/6DB/public/ 图书馆 使用 contrib rgbd 模块安装 opencv3 安装pybind11 pip3 install -r requirements.txt 脚步 在目标文件夹中： mkdir 构建光盘构建/ .. 制作 在 6dpose 文件夹中，如果使用 pybind： pip3 安装 target_folder/ python3 target.py 线模 linemod.py 中的代码将训练和检测下载数据集中的对象。 参考 op
物体6D位姿估计方法总结
qq_42744739的博客
10-21 2982
在抓取中，6D物体位姿常常是被需要的，能够帮助机器人获得目标物体的位置和方位。方法分类：①. 基于对应的方法找到输入数据与存在的完整3D物体模型之间的对应关系。有两种实现手段，一种是基于2D图像，找到2D点与3D点的对应关系，利用PnP方法估计物体6D位姿。另一种是基于3D点云方法，找到3D点与3D点的对应关系。基于2D图像往往需要物体必须具有丰富的纹理。利用3D模型从各个角度获得渲染的2D图像，这里面就将2D点与3D点之间对应起来了。
6d姿态估计综述
a806032098的博客
08-18 7392
1.简介 1.1 6D位姿的含义 6D是指6个自由度，代表了3个自由度的位移 (也叫平移 (Translation))，以及3个自由度的空间旋转 (Rotation)，合起来就叫位姿 (Pose)。位姿是一个相对的概念，指的是两个坐标系之间的位移和旋转变换。 原始物体由其所在的世界坐标系，到相机坐标系的RT变换： Tc=Rcm∗Tm+tcmT_c = R_{cm}*T_m+t_{cm}Tc​=Rcm​∗Tm​+tcm​其中，TmT_mTm​是物体再世界坐标系下的坐标，TcT_cTc​是相机坐标系；RcmR_
6D位姿估计 论文及代码汇总，持续更新~~~
不忘初心~
09-14 6277
6DoF Pose Estimation 论文及代码汇总，持续更新~~~
基于改进的点对特征的6D位姿估计
3D视觉工坊
12-10 679
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达论文题目：6D Pose Estimation using an Improved Method based on Point Pa...
6D位姿估计Point Pair Feature (PPF)算法详解
3D视觉工坊
05-19 5106
作者丨丁洪凯@知乎来源丨https://zhuanlan.zhihu.com/p/94952276编辑丨3D视觉工坊一、论文解读论文：Drost et al. Model Globall...
【6D位姿估计】SAM-6D 当分割一切遇到位姿估计 CVPR2024
黎国溥
05-17 4813
本文介绍6D位姿估计的方法SAM-6D，来自CVPR 2024的论文。它是一个用于零样本6D位姿估计的框架，在测试新物体时，无需进行微调，直接进行检测。通过结合实例分割模型和姿态估计模型，实现对新物体的6D姿态估计。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值