【论文阅读】点云预测-机器人操作

于 2024-11-27 13:26:24 发布
阅读量1.3k 收藏 21
点赞数 25
分类专栏： 笔记记录 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45751396/article/details/144069830
版权

文章目录

1. 【CoRL 2024】IMAGINATION POLICY: Using Generative Point Cloud Models for Learning Manipulation Policies

针对痛点和贡献

痛点：

  • 传统方法的局限性： 许多传统的机器人操作策略学习方法直接将观测映射为动作，但忽略了局部几何信息，这导致了低效的任务泛化和迁移。尤其是在复杂的操作任务中，机器人需要更多的示范和较长的训练时间，且难以处理新的物体或场景。
  • 高精度任务挑战： 传统的多任务机器人学习方法通常需要大量的专家演示才能有效地处理精确的任务（如插刀、插充电器等），因此在实际应用中面临很大的挑战。
  • 缺乏对称性利用： 很多现有的方法没有充分利用任务中的对称性（如拾取和放置任务中的旋转对称性），导致了学习效率的低下和任务执行的局限性。

贡献：

  • 提出IMAGINATION POLICY方法：该方法通过生成点云来想象目标状态，而不是直接从观察映射到动作。通过这种方式，机器人能够利用生成模型来高效地学习各种操作任务，而无需大量演示。
  • 引入对称性约束：IMAGINATION POLICY方法通过利用任务中的几何对称性（如3D旋转对称性和双等变性），提高了学习效率。特别是，系统能够在多任务设置中高效地进行动作推断，而不需要大量的标注数据。
  • 多任务能力和高效样本利用：通过引入生成的点云模型，IMAGINATION POLICY能够在多任务设置下实现高效的策略学习，并且能够通过少量演示来解决高精度任务。

摘要和结论

摘要： 本研究提出了一种名为IMAGINATION POLICY的多任务操作策略网络，旨在解决高精度的拾取和放置任务。与传统的动作直接生成方法不同，IMAGINATION POLICY通过生成目标状态的点云并利用刚性动作估计来推断动作。通过引入任务中的几何对称性，IMAGINATION POLICY提高了样本效率，并在RLbench基准上表现出优异的性能。

结论： IMAGINATION POLICY方法通过生成点云模型来学习机器人操作策略，成功解决了高精度任务中的一些痛点，如插刀和插充电器等任务，并在多个实验中超越了现有的多任务方法。该方法还在多任务学习中引入了对称性约束，进一步提高了学习的效率和泛化能力。尽管本方法有许多优点，但仍需进一步优化生成速度和解决点云分割的挑战。

引言

在引言部分，作者介绍了当前机器人学习中的挑战，尤其是在处理高精度任务和复杂场景时，传统方法所面临的限制。作者提到，大多数现有方法直接将观测映射到动作，忽略了对物体几何特征的建模，这限制了任务的迁移和泛化能力。受到人类操作方式的启发，作者提出了IMAGINATION POLICY，这是一种基于生成模型的操作策略学习方法，通过生成目标状态的点云来推断动作，克服了传统方法的局限性，并提高了任务的学习效率。

方法

IMAGINATION POLICY的框架包括两个主要模块：

  1. 点云生成模块：该模块通过输入物体的点云和语言描述，生成一个新的点云，表示物体按照目标状态的组合位置。
  2. 刚性变换推断模块：该模块通过点云配准方法，估计从当前状态到目标状态的刚性变换，进而推断出具体的操作动作。

整个模型的核心在于通过生成点云来想象目标状态，而不是直接从观测映射到动作，这使得系统能够通过少量示范学习到多任务操作策略。
在这里插入图片描述

  • Encoding Point Feature.
  • Generating Points.（Point Flow（Point Straight Flow）模型）生成模型生成一个新的点云 P_ab ，表示目标状态。
    在这里插入图片描述
  • Estimating the Action.
    在这里插入图片描述
  • Realizing the Bi-equivariance
    在这里插入图片描述

双等变性（Bi-equivariance） 是IMAGINATION POLICY方法的一个重要特性，它利用任务中的几何对称性来提高样本效率和任务的泛化能力。简单来说，双等变性表示物体A和物体B的独立变换（旋转或平移）不会影响任务的执行效果，意味着系统能够自动适应物体的旋转和平移，而不需要重新学习每一种变化。

实验

在实验部分，作者使用了RLbench基准进行多任务测试，展示了IMAGINATION POLICY在多个复杂操作任务上的优异性能。实验结果表明，即使在仅使用少量演示的情况下（如1次或5次演示），IMAGINATION POLICY也能超过现有的一些基线方法，如PerAct、RVT等。特别是在需要高精度操作的任务（如插刀、插充电器）中，IMAGINATION POLICY表现出色，展示了其高样本效率和良好的任务泛化能力。

在这里插入图片描述

思考不足之处

生成速度和实时应用： 尽管IMAGINATION POLICY在任务学习中表现出色，但生成点云的过程需要较长的时间（例如，生成一个批次需要20秒），这可能限制了其在实时任务中的应用。因此，如何加速生成过程以提高实时性能是一个值得关注的问题。

点云分割问题： IMAGINATION POLICY假设可以获得高质量的分割点云，但在现实应用中，点云的分割可能存在噪声或不准确的情况，这可能会影响生成模型的表现。未来的工作可以考虑更好的点云分割方法，或者对噪声具有鲁棒性的生成模型。

对称性在复杂任务中的应用： 尽管本方法在多任务和高精度任务上取得了显著效果，但在更复杂的任务中（例如需要更多物体的操作任务）如何处理多物体之间的相互作用，仍然是一个值得进一步研究的问题。

2. 【CVPR2023】Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting

在这里插入图片描述

针对痛点和贡献

痛点：

  • 数据标注成本高：现有自动驾驶场景预测任务依赖高质量的语义标签、边界框等标注数据，难以扩展到大规模未标注数据集。
  • 任务设置不合理： 传统点云预测方法过于关注传感器自身参数（如内参和外参），而非场景的实际动态，降低了泛化能力和有效性。
  • 评价标准局限：现有指标不能充分反映预测的几何准确性和场景动态的本质。

贡献：

  • 任务重定义：
    提出“4D占用预测”任务，直接预测场景在时空中的占用状态，摆脱传感器相关因素的干扰。
    将传统点云预测转化为更通用的几何预测任务。
  • 高效的自监督框架
    通过渲染点云从预测的4D占用中提取未来信息，实现从未标注LiDAR序列的自监督学习。
  • 普适性强的评价框架：
    提出新的评估方法，能够统一衡量点云预测与4D占用预测的效果，并跨数据集和传感器平台进行比较。
  • 实验验证与泛化：
    在多个公开数据集上实现最先进性能，并展示了跨传感器和数据集的泛化能力。

摘要和结论

本文通过引入“4D占用预测”任务，解决了点云预测任务中的核心痛点，专注于场景动态预测。
实验表明，该方法不仅在预测精度上超过现有方法，还在跨传感器泛化能力上取得突破，验证了任务重定义的价值。
结论强调了4D占用预测的潜在应用价值，包括更精确的环境建模、规划支持和跨设备数据融合。

引言

  1. 传统点云预测方法主要问题：
  • 高昂的数据标注成本。
  • 不必要地学习传感器相关属性，忽视场景动态。
  • 无法扩展到多种传感器和数据集。
  1. 提出“4D占用预测”作为核心任务，利用自监督学习解决这些问题。
  2. 核心目标：
  • 用占用状态替代点云预测。
  • 提供更通用的预测表示，用于下游任务如规划和轨迹预测。

模型框架

这个方法的核心在于如何将历史的LiDAR点云和传感器位置作为输入，预测未来的4D占用状态，进而渲染未来的点云。

  1. 输入：

    • 历史点云和传感器位置。
      在这里插入图片描述
      任务重构： 传统的点云预测任务通常要求直接从历史点云数据预测未来点云。然而，作者提出不直接进行点云预测，而是通过预测4D占用状态来代替。这使得模型的关注点从传感器的内外参数（extrinsics 和 intrinsics）转移到场景动态的捕捉。

  2. 核心模型：

    • 占用预测网络（通过体素网格预测每个时空点的占用状态）。
    • 可微渲染器（通过射线追踪从体素网格中提取深度信息）。

  3. 输出：

    • 未来4D占用预测。
    • 渲染出的未来点云。

在这里插入图片描述

  1. 损失函数：
    • 通过预测深度与真实深度的L1损失训练网络。
      在这里插入图片描述

渲染未来点云

在这里插入图片描述

在这里插入图片描述

思考不足之处

  1. 对动态物体的预测能力有限：

    • 由于场景大部分是静态的，动态物体的权重在训练中被稀释，导致动态物体预测效果较弱。

  2. 场景复杂度限制：

    • 方法在简单场景中表现优异，但在高度拥挤或遮挡严重的场景中仍需改进。

  3. 评价指标改进：

    • 当前指标对动态物体的关注不足，未来需设计更敏感的评估方法。

  4. 占用网格的分辨率与计算成本权衡：

    • 高分辨率网格虽能提升预测精度，但计算成本高，需在性能与效率间找到平衡。
点云配准论文阅读笔记--Comparing ICP variants on real-world data sets
诺有缸的高飞鸟的博客
12-03 2503
论文阅读笔记：Comparing ICP variants on real-world data sets-在真实数据集上比较icp变体
基于点云的机器人抓取识别综述
3D视觉工坊
07-14 4105
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达机器人作为面向未来的智能制造重点技术，其具有可控性强、灵活性高以及配置柔性等优势，被广泛的应用于零件加工、协同搬运、物体抓取与部件装...
点云可以预测未来？波恩大学最新开源：自监督的三维点云预测
计算机视觉life
12-02 662
德国波恩大学StachnissLab最新工作，基于自监督学习的未来三维点云预测，被CoRL2021录用。论文及代码都已开源！
论文推荐：使用三维卷积进行自监督的3D点云预测
deephub
11-17 1394
大多数自动驾驶汽车使用 3D 激光扫描仪（即所谓的 LiDAR）来感知周围的 3D 世界。 LiDAR 生成汽车周围场景的局部 3D 点云。这些 3D 点云广泛用于众多机器人和自动驾驶任务，如定位、物体检测、避障、映射、场景解释和轨迹预测。 一个典型的 LiDAR 传感器每秒生成大约 10 个这样的点云。 预测传感器在未来可能会看到什么的能力可以增强自动驾驶汽车的决策。这个方向中一个有前途的应用是将预测的点云用于路径规划任务，例如避免碰撞。与预测(例如预测交通agent的未来3D包围盒)的方法不同，点云预测
基于三维时空卷积网络的自监督点云预测（CoRL2021）
3D视觉工坊
11-26 1849
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达来源丨泡泡机器人SLAM作者丨泡泡机器人标题：Self-supervised Point Cloud Prediction Using...
4D占据预测（预测未来时刻的点云数据，可以更准确地预测场景的占据情况）
weixin_45589788的博客
06-26 2672
为了实现4D占据预测，作者提出了一种新的网络架构，并使用未标注的LiDAR序列数据进行训练和测试。具体而言，他们通过查询已知传感器内外参数的4D模型，使用射线来渲染LiDAR扫描数据。这种方法使得可以在不需要标注的LiDAR序列上训练和测试4D占据预测算法，并且可以在不同的数据集、传感器和车辆之间进行点云预测算法的评估和比较。
第5节：点云补全PF-Net论文解读.zip
10-11
点云补全是一种重要的计算机视觉技术，特别是在3D重建、自动驾驶和机器人导航等领域。PF-Net（Point Flow Network）是该领域的一种创新性方法，它专注于处理不完整的3D点云数据，通过深度学习的方式进行点云的恢复与...
【论文阅读】PERCEIVER-ACTOR: A Multi-Task Transformer for Robotic Manipulation
qq_33673253的博客
09-16 1741
transformers凭借其对大型数据集的扩展能力，彻底改变了视觉和自然语言处理。但在机器人操作中，数据既有限又昂贵。通过正确的问题表述，操纵仍然可以从变形金刚中受益吗？我们使用peract来研究这个问题，peract是一种用于的。peract使用感知器transformer[1]对语言目标和rgb-d体素观测值进行编码，并通过“。与在2d图像上操作的框架不同，体素化的3d观察和动作空间为有效学习6-dof动作。
自动驾驶：使用 3D 时空卷积网络的自监督点云预测
源代码杀手的博客
01-01 1225
参考文献： B. Mersch, X. Chen, J. Behley, and C. Stachniss, “Self-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks,” in Proc. of the Conf. on Robot Learning (CoRL), 2021 大多数自动驾驶汽车使用 3D 激光扫描仪，即所谓的 LiDAR，来感知周围的 3D 世界。LiDAR 生成汽车周围场
论文《Visual Point Cloud Forecasting enables Scalable Autonomous Driving》详细解析
weixin_44298961的博客
05-29 1215
该论文提出了一种新的预训练任务，称为“视觉点云预测”（Visual Point Cloud Forecasting），从历史视觉输入中预测未来的点云。论文介绍了ViDAR模型，通过这种方法显著提高了多种下游任务（如感知、预测和规划）的性能。历史编码器：提取来自多视角图像序列的BEV嵌入。潜在渲染操作符：模拟体渲染操作，将历史嵌入转换为几何嵌入。未来解码器：自回归地预测未来的BEV特征，生成未来的点云。
推荐文章：ViDAR - 开启自动驾驶新纪元的视觉点云预测技术
gitblog_00019的博客
06-05 623
推荐文章：ViDAR - 开启自动驾驶新纪元的视觉点云预测技术 项目地址:https://gitcode.com/gh_mirrors/vi/ViDAR 在自动驾驶技术的迅速演进中，如何让车辆预知未来，成为了决定性的挑战之一。今天，我们聚焦一个名为ViDAR的创新开源项目，它正引领我们迈向这一目标。ViDAR，全称为“Visual Point Cloud Forecasting”，是上海AI La...
点云从入门到精通技术详解100篇-伪雷达点云预测（续）
getusushu的博客
09-10 270
生成更密集的点云序列，既能解决激光雷达点云稀疏的问题，也能解决激光雷达。通过对连续的稀疏深度图进行插值操作得到中间时刻的伪雷达点云。光雷达低帧率的问题，空间稠密化阶段通过深度补全网络得到稠密的伪雷达点云。此外，使用预先训练好的网络预测光流，因此光流估计网络预测的光流会存在较。此外，运动的不规则性。合约束的损失函数，通过对预测点云和重建的伪雷达点云施加约束，以有效地优。雷达点云插值任务和伪雷达点云预测任务进行对比，均取得了优异的性能。取的流嵌入代表点云间的运动偏移，只使用运动偏移关系预测未来场景是不可靠。
点云标签和预测结果同时可视化(python)
zhaoguanhua的博客
10-13 2712
使用Open3D可视化3D目标检测结果
点云处理软件Pointscene
wishchinYang的专栏
09-02 4299
转载于PCL中国：点云处理软件Pointscene        软件官网：https://pointscene.com/ 笔者评:        Pointscene是目前的点云处理软件之一，其主要是操作简单直观，并且支持与WebGL兼容的格式导出。 Have you ever wanted to share a point cloud with a customer or coll
探索未来移动的奥秘：点云预测4D占用率预报框架
gitblog_00038的博客
06-03 362
探索未来移动的奥秘：点云预测4D占用率预报框架 4d-occ-forecasting项目地址:https://gitcode.com/gh_mirrors/4d/4d-occ-forecasting 本文将向您推介一个创新的开源项目——点云预测作为4D占用率预报的代理。这个项目由Tarasha Khurana、Peiyun Hu、David Held和Deva Ramanan合作完成，并在 I...
复现opendrivelab的“点云预测”项目
weixin_61663117的博客
08-05 985
本文的主要工作就是复现下述论文中的算法。该论文全称：Visual Point Cloud Forecasting论文内容在此不做过多介绍，直接上项目。首先通读readme.md文件的内容，了解所需要的相关依赖和数据等内容。一定要多读几遍，不要扫一眼就过了。接下来就是部署环境，根据readme.md文件的内容直接部署环境即可。他们这里给的部署环境的步骤还是较为详细的。由于我电脑内存不够的原因，我在这里使用的是AutoDL上面的算力，它默认的就是Linux环境。至于AutoDL怎么用，可以去官网看帮助文档。如果
自监督点云预测：开启未来场景预知之门
gitblog_00076的博客
06-16 912
自监督点云预测：开启未来场景预知之门 point-cloud-predictionSelf-supervised Point Cloud Prediction Using 3D Spatio-temporal Convolutional Networks项目地址:https://gitcode.com/gh_mirrors/po/point-cloud-prediction 在深度学习与计算机视...
点云标签和预测结果同时可视化
YadxFix的博客
09-27 224
通过这样的可视化方式，我们可以更好地理解和评估点云数据和模型的性能，对于点云相关的任务具有重要意义。然后，使用Matplotlib库创建一个3D图形，分别将点云、标签和预测结果以不同的颜色进行可视化，并添加图例和标题。最后，显示可视化结果。点云数据集可以是来自3D扫描仪或仿真环境的真实点云，标签数据可以是手动标注或自动标注的点云标签，预测结果数据可以是基于训练好的模型对点云进行分类、语义分割或物体检测等任务的结果。接下来，我们使用Python编程语言和相关的库来实现点云标签和预测结果的可视化。
点云预测PRR-Net
最新发布
03-04
### 关于点云预测 PRR-Net 的研究 #### 研究背景与目标 PRR-Net 是一种专门用于处理和预测点云数据的神经网络架构。该模型旨在通过学习点云的空间特征来提高对复杂三维形状的理解能力[^1]。 #### 架构设计 PRR-Net 主要由以下几个部分组成： - **输入层**：接收原始点云数据作为输入。 - **编码器模块**：采用多层感知机（MLP）提取局部几何特性，并利用最大池化操作聚合全局信息。 - **解码器模块**：基于编码后的特征向量重建完整的点云表示形式。 - **损失函数**：定义了针对不同任务的具体优化目标，如分类、分割或补全等。 ```python import torch.nn as nn class Encoder(nn.Module): def __init__(self, input_dim=3, hidden_dims=[64, 128], output_dim=256): super(Encoder, self).__init__() layers = [] dims = [input_dim] + hidden_dims + [output_dim] for i in range(len(dims)-1): layers += [nn.Linear(dims[i], dims[i+1]), nn.ReLU()] self.encoder = nn.Sequential(*layers) def forward(self, x): return self.encoder(x) class Decoder(nn.Module): def __init__(self, latent_dim=256, hidden_dims=[128, 64], output_dim=3): super(Decoder, self).__init__() layers = [] dims = [latent_dim] + hidden_dims[::-1] + [output_dim] for i in range(len(dims)-1): layers += [nn.Linear(dims[i], dims[i+1])] if i != len(dims)-2: layers.append(nn.ReLU()) self.decoder = nn.Sequential(*layers) def forward(self, z): return self.decoder(z) ``` #### 实现方法 为了有效训练 PRR-Net，在实际应用中通常会采取以下措施： - 数据预处理阶段会对点云进行标准化和平滑滤波； - 使用变分自编码器(VAE)框架引入隐变量建模不确定性； - 结合对抗生成网络(GANs)提升生成样本的质量。 #### 应用案例 PRR-Net 已经被成功应用于多个领域内解决具体问题： - 自动驾驶汽车中的障碍物检测与避让； - 增强现实环境中物体识别及交互体验改进； - 医疗影像分析方面辅助医生诊断疾病。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值