位姿估计与跟踪
文章平均质量分 91
位姿估计与跟踪相关论文阅读笔记
深视
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记《Learning Deep Network for Detecting 3D Object Keypoints and 6D Poses》
核心思想 本文提出一种基于3D关键点的位姿估计方法,其思想在于利用一张RGB图像作为参考图像,通过将测试图像和参考图像之间进行关键点匹配,再利用Kabsch算法得到两幅图像之间的位姿变换,进而根据参考图像的位姿得到测试图像的位姿。与其他的位姿估计方法不同,本文在训练过程中只需要已知相对位姿变换的一对图片(每次训练需要一对,整个训练过程还是需要许多对图像的)。相对于需要大量的已知位姿的图像数据集,只得到两张相对位姿已知的图像是比较容易的,比如用两个位姿已知的相机拍摄同一个物体,就能根据相机的位姿变化,得到原创 2022-02-16 21:34:13 · 2040 阅读 · 1 评论 -
论文阅读笔记《DPOD: 6D pose object detector and refiner》
核心思想 本文提出一种基于稠密匹配的位姿估计和优化方法(DPOD)。之前介绍的基于关键点匹配或控制点匹配的位姿估计方法都是基于稀疏匹配的方法,利用PnP算法进行求解。这类方法的问题在于匹配点的数量较少,受误匹配点的影响较大,导致位姿估计的鲁棒性较差。而本文则是利用立体投影(球面投影或圆柱投影)将3D模型上的点映射到一个两通道的二维UV图上,本文称之为对应映射(或匹配映射,Correspondence Map)。然后利用神经网络去预测图像中的每个像素点对应的UV值,进而构建起2D-3D之间的稠密映射关系。原创 2022-01-18 11:00:36 · 3240 阅读 · 1 评论 -
论文阅读笔记《REDE: End-to-End Object 6D Pose Robust Estimation Using Differentiable Outliers Elimination》
核心思想 本文提出一种端到端的基于关键点匹配的位姿估计方法,与之前关键点匹配方法不同之处在于本文提出一种可微分的异常点剔除方法,使得整个算法能够实现端到端的训练。 如图(a)所示,传统方法是手动设计特征提取关键点,并和模型关键点匹配,求解位姿,这类方法的局限在与关键点特征不是通过学习获取的,对于特征信息较少的物体,处理起来存在困难。如图(b)所示,直接方法是通过CNN根据输入图像回归得到物体位姿,虽然实现了端到端的训练,但这类方法的泛化能力较差。如图©所示,关键点回归的方法是利用神经网络取代人工设原创 2022-01-11 20:33:34 · 2340 阅读 · 0 评论 -
论文阅读笔记《DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion》
核心思想 本文提出一种基于RGB-D图像预测目标物体位姿的方法(DenseFusion)。首先,利用一个语义分割网络得到目标物体的分割图像,分别用两个网络用于处理RGB图像和点云图(由深度图获得),将颜色特征和几何特征逐像素的拼接起来,并利用一个特征融合网络获得全局特征。然后将全局特征级联到每个像素的特征向量上,并利用位姿预测网络输出每个像素点对应的位姿估计结果和一个置信度值,最终选择置信度最大的像素点对应的位姿估计结果。本文在此基础上还提出了一种基于深度学习的迭代优化方法,能够在上一次位姿估计的基础上原创 2021-12-30 21:24:54 · 2995 阅读 · 0 评论 -
论文阅读笔记《PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes》
核心思想 本文提出一种基于卷积神经网络的物体分割与位姿估计的方法(PoseCNN)。如下图所示,输入图像经过卷积层特征提取之后,分成三个任务分支:语义分割、平移矩阵预测和旋转矩阵(四元数)预测。最后结合三个分支的预测结果,得到每个物体的位姿估计。 语义分割分支采用了常见的全卷积神经网络方法。平移矩阵的预测并不是直接通过回归的形式输出中心点坐标,因为这种方法当中心点被遮挡时容易失效。而是预测物体上的每个点和中心点之间的连线方向,并预测每个点的深度值,通过投票的方式得到每个物体点的中心点坐标,然后根据原创 2021-12-29 11:17:13 · 3453 阅读 · 0 评论 -
论文阅读笔记《DeepIM: Deep Iterative Matching for 6D Pose Estimation》
核心思想 本文提出一种通过迭代的方式对初始位姿估计结果进行优化的方法(DeepIM)。作者发现目前基于RGB图像的位姿估计算法相对于基于RGB-D图像的位姿估计算法其准确率存在一定的差距,作者认为缺少一种有效的位姿优化方法来解决基于RGB图像位姿估计不准确的问题。作者首先根据初始位姿和目标物体的3D模型,渲染出目标物体在初始位姿下的图像,然后比对初始位姿下的图像和实际观测到的图像之间的差异,如果差异较大则说明初始位姿估计的结果不够准确,反之则位姿估计结果更好。作者利用渲染图像和实际观测图像来预测二者之间原创 2021-12-24 09:19:49 · 1328 阅读 · 1 评论 -
论文阅读笔记《LatentFusion: End-to-End Differentiable Reconstruction and Rendering for Unseen Object Pose 》
核心思想 本文提出一种通过重建渲染目标物体在不同视角下的3D特征进行位姿估计的方法(LatentFusion)。早期的位姿估计方法中,有种方法就是预先采样得到不同视角下目标物体的图像,通过比对当前图像和不同视角下图像之间的相似性来找到最相似的视角,该视角对应的物体位姿即为目标物体的位姿。这种方法当然是比较原始的,因为采样过程是离散的,采样视角的数量就决定了位姿估计的准确性,另一方面不同视角下的采样工作也是非常繁重的。因此就有人提出根据少量的参考位姿下的图像构建一个特征空间,然后根据输入的新的位姿,通过重原创 2021-12-22 16:38:28 · 535 阅读 · 0 评论 -
论文阅读笔记《HybridPose: 6D Object Pose Estimation under Hybrid Representations》
核心思想 本文提出一种基于混合特征表示的位姿估计方法(HybridPose),融合了关键点、边缘和对称点三种类型的特征,通过构建2D图像特征和3D空间特征之间的对应关系,利用EPnP算法求解目标位姿。相比于仅利用关键点特征进行位姿估计的方法而言,引入边缘和对称点特征能够提高位姿估计的稳定性。边缘特征并不是指目标物体的边缘轮廓,而是关键点之间的连线,该特征能够在图像中的关键点比较杂乱时,提高位姿估计的稳定性。而对称点特征则是描述了物体最显著的反射对称平面上对称点之间的对应关系,由于对称点数量较多,因此即使原创 2021-12-17 10:35:12 · 1219 阅读 · 0 评论 -
论文阅读笔记《KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects》
核心思想 本文提出一种基于双目图像进行透明物体位姿估计的方法。作者首先回顾了现有的位姿估计方法,通常采用单目相机获取目标2D图像,并与物体的3D模型或者RGB-D获取的点云图像进行匹配,进而实现位姿估计。而RGB-D传感器对于透明的,光滑的物体,其距离感知效果并不好。为了解决这个问题,作者采用了双目立体视觉来获得透明物体的深度信息,并通过提取物体上的关键点,利用反透视变换来获取关键点的3D坐标。因为现有的姿态估计数据集,尚没有提供双目数据的,因此作者提出一种方法,通过简单的标记就可以获取目标物体的关键点原创 2021-12-14 17:04:50 · 2969 阅读 · 0 评论 -
论文阅读笔记《CDPN: Coordinates-Based Disentangled Pose Network for Real-Time RGB-Based 6-DoF Object Pose 》
核心思想 本文提出一种基于坐标的6D位姿估计网络,现有的位姿估计算法通常可以分为直接方法和间接方法,直接方法就是通过回归的方式直接输出6D位姿信息,间接方法就是分别预测目标的2D图像坐标和3D空间坐标,然后通过PnP方法来计算位姿。作者发现对于位姿估计中的旋转矩阵,使用间接法计算更加准确,而对于平移矩阵更适合用直接法来计算,因此作者提出了“分离”位姿网络,分别使用两种方式来估计旋转和平移矩阵。实现过程 首先,相对于基于关键点进行位姿估计的方法,基于稠密坐标的位姿估计对于遮挡和聚集问题更加的具有鲁原创 2021-12-10 11:04:29 · 3528 阅读 · 0 评论 -
论文阅读笔记《PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF Pose Estimation》
核心思想 本文提出一种基于3D关键点投票网络的姿态估计算法。通过投票的方式从RGBD图像中寻找3D关键点,并采用语义分割网络和中心点检测网络实现实例分割,最后根据实例中关键点和对应模型的关键点之间的匹配关系,利用最小二乘法计算得到图像实例与模型之间的位姿变换(旋转矩阵+平移矩阵),即得目标物体的6D位姿。特点在于本文不是直接从图像中提取关键点,而是利用网络预测每个点与关键之间的位置偏移,然后计算每个点经过偏移后的聚类中心来作为关键点。因为在3D空间中,对于一个刚性物体,无论其位姿如何变化,任意两个点之间原创 2021-12-08 22:27:00 · 823 阅读 · 0 评论 -
论文阅读笔记《BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models》
核心思想 本文提出一种6D位姿跟踪算法,能够在没有目标实例3D模型或同类型物体的3D模型的条件下,实现目标物体位姿的准确估计和跟踪。相对于依赖3D模型的位姿估计和跟踪算法,本文提出的方法只需要输入一个RGB-D图像序列,以及在第一幅图像I0I_0I0上目标物体的分割图M0M_0M0,就能实现目标物体位姿的实时跟踪。如果需要目标物体相对于相机的位姿,还需要给定目标物体在第一帧图像中相对于相机的位姿T0CT_0^CT0C。也就是说本文给出的是当前帧中目标物体相对于第一帧中目标物体的位姿变化T0→τT_原创 2021-12-07 21:40:57 · 3150 阅读 · 0 评论