![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
文章
文章平均质量分 95
墨绿色的摆渡人
这个作者很懒,什么都没留下…
展开
-
论文笔记(四十五)Attention Is All You Need
主流的序列转换模型基于复杂的递归或卷积神经网络,其中包括一个编码器和一个解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构–“转换器”(Transformer),它完全基于注意力机制,无需递归和卷积。在两项机器翻译任务上的实验表明,这些模型的质量更优,同时可并行化程度更高,所需的训练时间也大大减少。我们的模型在 WMT 2014 英德翻译任务中达到了 28.4 BLEU,比现有的最佳结果(包括集合)提高了 2 BLEU 以上。原创 2024-05-03 21:08:18 · 1271 阅读 · 0 评论 -
论文笔记(四十四)FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects
我们提出的 FoundationPose 是用于 6D 物体姿态估计和跟踪的统一基础模型,同时支持基于模型和无模型设置。只要给出新物体的 CAD 模型,或捕捉到少量参考图像,我们的方法就能在测试时立即应用于该物体,而无需进行微调。由于采用了统一的框架,两种设置中的下游姿势估计模块是相同的,在没有 CAD 模型时,神经隐式表示法可用于高效的新视图合成。在大型语言模型(LLM)、基于转换器的新型架构和对比学习配方的帮助下,通过大规模合成训练实现了强大的通用性。原创 2024-04-21 18:35:49 · 1924 阅读 · 2 评论 -
论文笔记(四十三)Multi-view object pose distribution tracking for pre-grasp planning on mobile robots
当移动机械手机器人仍在接近物体时,跟踪物体 6D 姿态分布的能力可使机器人预先计划结合底座和手臂运动的抓取。然而,由于机器人摄像头的视角有限,从远处跟踪 6D 物体姿态分布可能具有挑战性。在这项工作中,我们提出了一个框架,将外部固定摄像机的观测数据与移动机器人摄像机的观测数据相融合,并按时间顺序进行跟踪,从而实现远距离 6D 物体姿态分布跟踪。我们将物体姿态后验建模为多模态分布,这样就能更好地应对摄像机与物体之间的较大距离、遮挡物和物体几何形状带来的不确定性。原创 2024-03-29 20:52:12 · 1109 阅读 · 1 评论 -
论文笔记(四十二)Diff-DOPE: Differentiable Deep Object Pose Estimation
我们介绍的 Diff-DOPE 是一种 6-DoF 姿态校正器,它将图像、物体的三维纹理模型和物体的初始姿态作为输入。该方法使用可微分渲染来更新物体姿态,以最小化图像与模型投影之间的视觉误差。我们的研究表明,这种简单而有效的方法能够在姿态估计数据集上获得最先进的结果。我们的方法不同于最近的方法,在最近的方法中,姿态细化器是一个在大型合成数据集上训练的深度神经网络,用于将输入映射到细化步骤。相反,我们使用可微分渲染技术,可以完全避免训练。原创 2024-01-25 19:24:04 · 1497 阅读 · 0 评论 -
论文笔记(四十一)6D Object Pose Estimation Using a Particle Filter With Better Initialization
6D 物体姿态估计是机器人抓取任务中的一个关键问题。最近,人们利用鲁棒深度学习技术推出了许多基于学习的高性能方法;然而,将这些方法应用于真实机器人环境需要许多地面真实 6D 姿态注释来进行训练。为了解决这个问题,我们提出了一种基于模板匹配的粒子滤波方法来进行 6D 姿势估计;所提出的方法不需要地面实况 6D 姿势。虽然粒子滤波方法可以随机避免局部最优,但它们需要足够的初始姿态假设来估计准确的 6D 物体姿态。因此,我们通过开发一个新的深度网络来估计目标物体的初始平移,以便准确地初始化粒子滤波器。原创 2024-01-18 19:33:23 · 1113 阅读 · 1 评论 -
论文笔记(四十)Goal-Auxiliary Actor-Critic for 6D Robotic Grasping with Point Clouds
超越自上而下的垃圾箱拣选场景的 6D 机器人抓取是一项具有挑战性的任务。以往基于 6D 抓取合成和机器人运动规划的解决方案通常在开环环境中运行,对抓取合成误差非常敏感。在这项工作中,我们提出了一种学习 6D 抓取闭环控制策略的新方法。我们的策略以来自自中心摄像机的物体分割点云为输入,输出机器人抓手抓取物体的连续 6D 控制动作。我们结合了模仿学习和强化学习,并为策略学习引入了目标辅助行为批判算法。我们演示了学习到的策略可以集成到桌面 6D 抓取系统和人机交接系统中,以提高抓取未见物体的性能。原创 2024-01-16 19:42:32 · 844 阅读 · 1 评论 -
论文笔记(三十九)Learning Human-to-Robot Handovers from Point Clouds
我们提出了第一个框架,用于学习基于视觉的人机交互控制策略,这是人机交互的一项关键任务。虽然嵌入式人工智能研究在模拟环境中训练机器人代理方面取得了重大进展,但由于模拟人类的困难,与人类的交互仍然具有挑战性。幸运的是,最近的研究已经为人与机器人的交接开发出了逼真的模拟环境。利用这一成果,我们引入了一种方法,通过一个两阶段的师生框架,利用运动和抓握规划、强化学习和自我监督,进行人机交互训练。我们在模拟基准、模拟到模拟的传输和模拟到真实的传输上展示了比基线更高的性能。原创 2024-01-15 22:41:37 · 1352 阅读 · 1 评论 -
论文笔记(三十八)HandyPriors: Physically Consistent Perception of Hand-Object ... Differentiable Priors
在过去的工作中,人们提出了各种用于模拟手-物交互的启发式目标。然而,由于缺乏一个连贯的框架,这些目标的适用范围往往很窄,效率或准确性也受到限制。在本文中,我们提出了 “HANDYPRIORS”,这是一个统一的通用管道,可利用可微分物理和渲染领域的最新进展,对人机交互场景进行姿势估计。我们的方法利用渲染先验与输入图像和分割掩码保持一致,同时利用物理先验减轻穿透和跨帧相对滑动。此外,我们还提出了手部和物体姿态估计的两种替代方案。原创 2023-12-05 23:23:43 · 122 阅读 · 0 评论 -
论文笔记(三十七)Visually Guided Model Predictive Robot Control via 6D Object Pose Localization and Tracking
这项工作的目的是利用安装在机器人上的摄像头,完成与动态运动物体的 6D 姿态相关的操纵任务。例如,保持机器人手臂相对于物体的恒定 6D 姿态、抓取动态运动物体或与人类共同操纵物体。在这种情况下,快速准确的 6D 姿态估计对于实现平滑稳定的机器人控制至关重要。这项工作有三个方面的贡献。首先,我们提出了一种新的视觉感知模块,它异步结合了基于学习的精确 6D 物体姿态定位器和基于高速率模型的 6D 姿态跟踪器。其结果是从输入视频流中以高达 120 Hz 的频率进行低延迟、准确且时间上一致的 6D 物体姿态估计。原创 2023-11-21 21:09:17 · 171 阅读 · 0 评论 -
论文笔记(三十六):6-DoF Pose Estimation of Household Objects for Robotic Manipulation: ... and Benchmark
我们为已知物体的 6-DoF 姿态估计提供了一个新的数据集,重点用于机器人操纵研究。我们提出了一组玩具杂货对象,这些对象的物理实例可随时购买,且大小适合机器人抓取和操纵。我们提供了这些物体的三维扫描纹理模型(适合生成合成训练数据),以及这些物体在具有挑战性的杂乱场景中的 RGBD 图像,这些场景显示了部分遮挡、极端的光照变化、每幅图像中的多个实例以及大量不同的姿势。利用半自动化的 RGBD 与模型纹理对应关系,我们为图像标注了精确度在几毫米以内的地面实况姿势。原创 2023-11-16 22:12:28 · 296 阅读 · 0 评论 -
论文笔记(三十五):Deep Object Pose Estimation for Semantic Robotic Grasping of Household Objects
使用合成数据来训练用于机器人操纵的深度神经网络,可以获得几乎无限量的预先标记的训练数据,而且这些数据是在不受伤害的情况下安全生成的。迄今为止,合成数据面临的主要挑战之一是弥合所谓的现实差距,从而使在合成数据上训练的网络在接触真实世界数据时能够正确运行。我们以从单张 RGB 图像对已知物体进行 6-DoF 姿态估计为背景,探讨了现实差距问题。我们的研究表明,对于这个问题,现实差距可以通过领域随机化和逼真数据的简单组合来成功跨越。原创 2023-11-14 23:05:01 · 211 阅读 · 0 评论 -
论文笔记(三十四):ORBIT: A Unified Simulation Framework for Interactive Robot Learning Environments
我们介绍的 ORBIT 是一个由英伟达 Isaac Sim 支持的统一模块化机器人学习框架。它采用模块化设计,可通过逼真的场景和快速准确的刚体和变形体模拟,轻松高效地创建机器人环境。通过 ORBIT,我们提供了一套难度各异的基准任务–从单步开柜和折布到多步任务(如房间重组)。为了支持不同的观察和行动空间,我们将固定手臂和移动机械手与不同的物理传感器和运动发生器结合在一起。借助基于 GPU 的并行化技术,ORBIT 可在几分钟内从手工或专家解决方案中训练强化学习策略和收集大型演示数据集。原创 2023-09-08 22:08:43 · 1026 阅读 · 0 评论 -
论文笔记(三十三):BundleTrack:6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Modes
跟踪视频序列中物体的 6D 姿态对机器人操纵非常重要。然而,大多数先前的研究通常假定目标物体的 CAD 模型(至少在类别级别上)可用于离线训练或在线模板匹配。这项工作提出了一个用于对新物体进行 6D 姿态跟踪的通用框架–BundleTrack,它在实例或类别层面上都不依赖于三维模型。它利用了深度学习在分割和稳健特征提取方面的最新进展,以及记忆增强姿势图优化在时空一致性方面的互补属性。这样就能在各种具有挑战性的场景(包括明显的遮挡和物体运动)下实现长期、低漂移跟踪。原创 2023-07-27 04:52:24 · 322 阅读 · 0 评论 -
论文笔记(二十九):BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects
我们提出了一种近乎实时 (10Hz) 的方法,用于从单目 RGBD 视频序列中对未知物体进行 6-DoF 跟踪,同时对物体进行神经 3D 重建。我们的方法适用于任意刚性物体,即使在视觉纹理基本不存在的情况下也是如此。假定对象仅在第一帧中被分割。不需要其他信息,并且不对交互代理做出任何假设。我们方法的关键是神经对象场,它与姿势图优化过程同时学习,以便将信息稳健地积累到一致的 3D 表示中,同时捕获几何和外观。自动维护一个动态的 posed 内存帧池,以促进这些线程之间的通信。原创 2023-06-06 19:51:59 · 2107 阅读 · 15 评论 -
论文笔记(三十):Counter-Hypothetical Particle Filters for Single Object Pose Tracking
粒子滤波是一种常见的六自由度(6D)姿态估计技术,因为它能够有效地表示物体姿态的信念。然而,由于6D姿态的高维性质,粒子滤波很容易出现粒子剥夺现象。当粒子剥夺发生时,在重要性采样过程中会导致基本信念分布的模式坍塌。如果真实状态周围的区域受到模式崩溃的影响,恢复它的信念是具有挑战性的,因为该区域在粒子形成的概率质量中不再被代表。以前的方法通过随机化和重设信念分布中的粒子来缓解这个问题,但确定重振的频率依赖于手工调整抽象的启发式方法。原创 2023-06-05 23:42:42 · 429 阅读 · 0 评论 -
论文笔记(二十八):MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare
我们介绍MegaPose,这是一种估计新型物体6D姿势的方法,也就是在训练中未曾见过的物体。在推理的时候,该方法只假设知道(i)图像中显示物体的感兴趣区域和(ii)观察到的物体的CAD模型。这项工作的贡献有三个方面。首先,我们提出了一个基于渲染和比较策略的6D姿势精炼器,可以应用于新的物体。通过渲染物体CAD模型的多个合成视图,新型物体的形状和坐标系被提供给网络作为输入。第二,我们引入了一种新的粗略姿态估计方法,利用训练有素的网络来分类合成渲染和同一物体的观察图像之间的姿态误差是否可以由精炼器纠正。第三,我原创 2023-03-07 23:58:17 · 1863 阅读 · 2 评论 -
论文笔记(二十三):Predictive Sampling: Real-time Behaviour Synthesis with MuJoCo
我们介绍了 MuJoCo MPC (MJPC),这是一种基于 MuJoCo 物理学的实时预测控制的开源交互式应用程序和软件框架。MJPC 允许用户轻松创作和解决复杂的机器人任务,目前支持三种基于射击的规划器:基于导数的 iLQG 和梯度下降,以及一种简单的无导数方法,我们称之为预测采样。预测抽样被设计为基本基线,主要是因为它的教学价值,但事实证明它与更成熟的算法相比具有惊人的竞争力。这项工作没有提出算法上的进步,而是通过直观和交互式软件优先考虑高性能算法、简单代码和基于模型的方法的可访问性。MJPC 可在。原创 2022-12-11 20:06:18 · 1205 阅读 · 2 评论 -
论文笔记(三十一):GRiD: GPU-Accelerated Rigid Body Dynamics with Analytical Gradients
我们介绍了 GRiD:一个 GPU 加速库,用于计算具有解析梯度的刚体动力学。GRiD 旨在加速最先进的机器人规划、控制和机器学习中使用的非线性轨迹优化子问题,这需要在每次迭代中对刚体动力学及其梯度进行数十到数百次自然并行计算。GRiD 利用 URDF 解析和代码生成来提供优化的动态内核,这些内核不仅公开了 GPU 友好的计算模式,而且还利用了每个计算中的细粒度并行性和计算之间的粗粒度并行性。原创 2022-11-23 03:44:23 · 506 阅读 · 0 评论 -
论文笔记(二十二):Soft Tracking Using Contacts for Cluttered Objects to Perform Blind Object Retrieval
RGB-D Object Tracking: A Particle Filter Approach on GPU文章概括摘要1. 介绍2. 贡献3. 粒子滤波器4. 可能性评估5. 实施细节6. 实验A. 物体模型B. 合成序列C. 真实序列7. 结论8. 鸣谢文章概括作者:Changhyun Choi and Henrik I. Christensen来源:Center for Robotics & Intelligent Machines,College of Computing,G原创 2022-01-31 03:47:40 · 382 阅读 · 1 评论 -
论文笔记(二十)VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data
VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data文章概括摘要1. 介绍2. 背景3. 网络结构A. 视觉触觉传感器融合4. 可能性评估5. 实施细节6. 实验A. 物体模型B. 合成序列C. 真实序列7. 结论8. 鸣谢文章概括作者:Snehal Dikhale,Karankumar Patel,Daksh Dhingra,Itoshi Naramura,Akinobu原创 2022-01-22 19:21:05 · 2308 阅读 · 0 评论 -
论文笔记(三):PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes
估计已知物体的6D姿态对机器人与现实世界的交互很重要。由于物体的多样性以及物体之间的杂乱和遮挡所造成的场景的复杂性,这个问题具有挑战性。在本工作中,我们介绍了一种新的用于6D物体姿态估计的卷积神经网络PoseCNN。PoseCNN通过定位物体在图像中的中心并预测其与摄像机的距离来估计物体的3D平移。通过回归到四元数表示法来估计物体的三维旋转。我们还引入了一个新的损失函数,使PoseCNN能够处理对称的物体。此外,我们还贡献了一个用于6D物体姿态估计的大规模视频数据集,命名为YCB-Video数据集。 我们的原创 2021-12-10 08:22:42 · 947 阅读 · 0 评论 -
论文笔记(十九)RGB-D Object Tracking: A Particle Filter Approach on GPU
本文介绍了一种使用RGB-D相机进行6-DOF物体姿势跟踪的粒子过滤方法。我们的粒子过滤器在现代GPU中被大规模并行化,因此即使有几千个粒子,它也能表现出实时性能。给定一个先验的三维网格模型,建议的方法将物体模型渲染到GPU的纹理缓冲区,渲染的结果直接用于我们的并行可能性评估。测光(颜色)和几何(三维点和表面法线)特征都被用来确定每个粒子在给定RGB-D场景中的可能性。我们的方法与PCL中的跟踪器在合成和真实的RGB-D序列中分别进行了定量和定性的比较。原创 2021-12-09 19:03:47 · 2323 阅读 · 0 评论 -
论文笔记(十八):Object Detection and Spatial Location Method for ... Based on 3D Virtual Geographical Scen
Object Detection and Spatial Location Method for Monocular Camera Based on 3D Virtual Geographical Scene文章概括摘要1 介绍2 方法框架3 三维虚拟地理场景的融合构建算法A. 三维地理场景的构建B. 初始化虚拟摄像机C. 生成三维虚拟地理场景4 基于三维虚拟地理场景的坐标计算算法5 使用Brax:解决运动和操作问题5.1 与Brax捆绑的学习算法5.1.1 近似的政策优化(PPO)5.1.2 Soft原创 2021-11-25 02:49:47 · 2276 阅读 · 0 评论 -
论文笔记(十七):Brax — A Differentiable Physics Engine for Large Scale Rigid Body Simulation
Object Detection and Spatial Location Method for Monocular Camera Based on 3D Virtual Geographical Scene文章概括摘要1 捐款摘要2 动机3 使用Brax:核心物理学循环4 使用Brax:创建和评估环境4.1 系统规格4.2 类似健身房的环境4.2.1 MuJoCo Gym-Likes4.2.2 抓取4.2.3 获取5 使用Brax:解决运动和操作问题5.1 与Brax捆绑的学习算法5.1.1 近似的政策原创 2021-11-24 22:02:39 · 930 阅读 · 0 评论 -
论文笔记(十六):Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning
Learning to Walk in Minutes Using MassivelyParallel Deep Reinforcement Learning文章概括摘要1 介绍2 大规模并行强化学习2.1 仿真吞吐量2.2 DRL算法2.2.1 超参数的修改2.2.2 重置处理3 任务描述3.1 以游戏为灵感的课程3.2 粒子采样3.3 计算权重和后验分布4. 实验结果5. 结论Parallel Deep Reinforcement Learning)文章概括作者:Nikita Rudin,Dav原创 2021-11-19 01:29:04 · 3693 阅读 · 3 评论 -
论文笔记(十五):Deep Convolutional Likelihood Particle Filter for Visual Tracking
Deep Convolutional Likelihood Particle Filter for Visual Tracking文章概括摘要1. 介绍2. 卷积-相关粒子滤波器中支持度的变化问题3. 可能性粒子过滤器3.1 多模态似然估计3.2 粒子采样3.3 计算权重和后验分布4. 实验结果5. 结论文章概括作者:Reza Jalil Mozhdehi and Henry Medeiros来源:arXiv:2006.06746v1 [cs.CV] 11 Jun 2020;Marquette Uni原创 2021-10-08 20:17:04 · 356 阅读 · 0 评论 -
论文笔记(十四):PoseRBPF: A Rao–Blackwellized Particle Filter for 6-D Object Pose Tracking
PoseRBPF: A Rao–Blackwellized Particle Filter for 6-D Object Pose Tracking文章概括摘要1. 介绍2. 相关工作3. 用PoseRBPF进行六维物体姿势跟踪A. 问题定式化B. PoseRBPF概述C. Rao–Blackwellized 粒子滤波器的公式D. 观察似然E. 运动先验F. 6维对象姿态跟踪框架4. 可微粒子滤波器A. 置信度B. 预测C. 计量更新D. 粒子建议和重采样E. 有监督学习F. 缺陷和未来的工作5原创 2021-10-01 19:38:53 · 1036 阅读 · 0 评论 -
论文笔记(十三):Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors
Differentiable Particle Filters:End-to-End Learning with Algorithmic Priors文章概括摘要1. 介绍2. 相关工作3. 粒子滤波器网络*A. 粒子滤波器算法**B. 神经网络实现*4. 视觉定位5. 实验*A. 实验装置**B. 比较基线**C. 结果与讨论*6.结论End-to-End Learning with Algorithmic Priors)文章概括作者:Rico Jonschkowski,Divyam Rasto原创 2021-09-25 17:51:02 · 436 阅读 · 0 评论 -
论文笔记(十二):Particle Filter Networks: End-to-End Probabilistic Localization From Visual Observations
Particle Filter Networks: End-to-End Probabilistic Localization From Visual Observations文章概括摘要1. 介绍2. 相关工作3. 粒子滤波器网络*A. 粒子滤波器算法**B. 神经网络实现*4. 视觉定位5. 实验*A. 实验装置**B. 比较基线**C. 结果与讨论*6.结论文章概括作者:Peter Karkus,David Hsu and Wee Sun Lee来源:暂无原文:https://natanas原创 2021-09-23 20:41:06 · 647 阅读 · 0 评论 -
论文笔记(十一):Learning to Track with Object Permanence
Learning to Track with Object Permanence文章概括摘要1. 介绍2. 相关工作3.1 多模态融合3.2 Differentiable 滤波器4. 过滤器的背景4.1 贝叶斯过滤器4.2 Differentiable 过滤器4.2.1 扩展卡尔曼滤波器4.2.2 粒子过滤器4.2.3 LSTM5. 多模态融合架构5.1 特征融合5.2 单模态加权融合5.3 跨模态加权融合5.4 单峰加权测量模型5.5 带学习交叉模式权重的测量模型6. 实现6.1 神经网络结构6.原创 2021-09-18 20:29:48 · 1283 阅读 · 0 评论 -
论文笔记(十):Virtual Reality for Offline Programming of Robotic Applications with Online Teaching Methods
Virtual Reality for Offline Programming of Robotic Applications with Online Teaching Methods文章概括摘要1. 介绍2. 相关工作3. MR接口评估4. 结论和讨论文章概括作者:Gabriele Bolano,Arne Roennau,Ruediger Dillmann,Albert Groz来源:G. Bolano, A. Roennau, R. Dillmann and A. Groz, “Virtual原创 2021-04-12 17:20:33 · 269 阅读 · 0 评论 -
论文笔记(九):Assessing the Suitability and ... Mixed Reality Interfaces for Accurate Robot Teleoperation
Assessing the Suitability and Effectiveness of Mixed Reality Interfaces for Accurate Robot Teleoperation文章概括摘要CCS CONCEPTS关键词1. 介绍2. MR系统3. MR接口评估4. 结论和讨论文章概括作者:Francesco De Pace,Gal Gorjup,Huidong Bai,Andrea Sanna,Minas Liarokapis,Mark Billinghurst来源:原创 2021-04-02 16:09:22 · 194 阅读 · 0 评论 -
论文笔记(八):360 VR Based Robot Teleoperation Interface for Virtual Tour
360 VR Based Robot Teleoperation Interface for Virtual Tour文章概括摘要1. 介绍2. 方法和系统设计2.1 系统结构2.2 远程机器人服务2.2.1 硬件2.2.2 软件3. 执行方面4. 结论和未来工作鸣谢参考文献文章概括作者:Yeonju Oh,Ramviyas Parasuraman,Tim McGraw,Byung-Cheol Min来源:March 2018 Conference: International Workshop原创 2021-03-31 11:35:51 · 526 阅读 · 0 评论 -
论文笔记(七):ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robot
ROS Reality: A Virtual Reality Framework Using Consumer-Grade Hardware for ROS-Enabled Robots文章概括摘要1. 介绍2. 相关工作2.1 硬件2.2 软件2.3 物体位姿跟踪2.4 操作辅助算法2.5 VR环境3. 系统设计的考虑和挑战4. 未来发展5. 结论文章概括作者:David Whitney,Eric Rosen,Daniel Ullman,Elizabeth Phillips,Stefanie Te原创 2021-03-26 14:29:59 · 1375 阅读 · 0 评论 -
论文笔记(六):A VR Teleoperation Suite with Manipulation Assist
A VR Teleoperation Suite with Manipulation Assist文章概括1. 摘要2. 介绍3. 相关工作3.1 多模态融合3.2 可微分滤波器4. 过滤器的背景4.1 贝叶斯过滤器4.2 Differentiable 过滤器4.2.1 扩展卡尔曼滤波器4.2.2 粒子过滤器4.2.3 LSTM5. 多模态融合架构5.1 特征融合5.2 单模态加权融合5.3 跨模态加权融合5.4 单峰加权测量模型5.5 带学习交叉模式权重的测量模型6. 实现6.1 神经网络结构6.原创 2021-03-25 14:34:28 · 458 阅读 · 0 评论 -
论文笔记(五):Multimodal Sensor Fusion with Differentiable Filters
Multimodal Sensor Fusion with Differentiable Filters文章概括1. 摘要2. 介绍3. 相关工作4. 问题定义5. 模型5.1 基于锚的注意机制3.1 来自RGB图像的姿势:3.2 来自深度/点云的姿势:3.3来自RGB-D数据的姿势:4. 模型4.1 结构概括4.2 语义分割4.3 Dense 特征提取4.3.1 密集的3D点云特征嵌入4.3.2 密集的彩色图象特征嵌入4.4 Pixel-wise密集融合4.4.1 Pixel-wise密集融合4.4.2原创 2020-11-06 07:41:43 · 756 阅读 · 2 评论 -
论文笔记(四):6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints
6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints文章概括1. 摘要2. 介绍3. 相关工作4. 问题定义3.1 来自RGB图像的姿势:3.2 来自深度/点云的姿势:3.3来自RGB-D数据的姿势:4. 模型4.1 结构概括4.2 语义分割4.3 Dense 特征提取4.3.1 密集的3D点云特征嵌入4.3.2 密集的彩色图象特征嵌入4.4 Pixel-wise密集融合4.4.1 Pixel-wise密集融合4.4.2 Per原创 2020-11-05 08:38:13 · 843 阅读 · 0 评论 -
论文笔记(二):DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion
DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion文章概括1. 摘要2. 介绍3. 相关工作3.1 来自RGB图像的姿势:3.2 来自深度/点云的姿势:3.3来自RGB-D数据的姿势:4. 模型4.1 结构概括4.2 语义分割4.1 具有残差的SE(3)流形上的跟踪4.2 神经网络的设计4.3 通过PPDR合成数据生成5. 实验5.1 数据集5.1.1 YCB-Video Dataset5.1.2 YCBInEOAT Datase原创 2020-11-03 05:39:48 · 996 阅读 · 0 评论 -
论文笔记(一):se(3)-TrackNet: Data-driven 6D Pose Tracking by ...... in Synthetic Domains
se(3)- TrackNet:Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains文章概括1. 摘要2. 介绍3. 相关工作3.1 数据驱动的6D姿势估计:3.2 6D姿势跟踪:3.2.1 概率跟踪:3.2.2 基于优化的跟踪:3.3 模拟到现实:4. 方法4.1 具有残差的SE(3)流形上的跟踪4.2 神经网络的设计4.3 通过PPDR合成数据生成5. 实验5.1 数据集5.1.1 YCB-Vi原创 2020-11-02 05:26:37 · 1668 阅读 · 12 评论