论文速读|BiGym：一款基于演示的移动双手操作机器人基准

最新推荐文章于 2024-10-07 19:47:17 发布
最新推荐文章于 2024-10-07 19:47:17 发布
阅读量670 收藏 2
点赞数 1
分类专栏： 人形机器人文献阅读 文章标签： 机器人 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81924597/article/details/141866755
版权

项目地址：BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

BiGym 是一个针对移动双手操作的机器人学习基准，包含 40 个在家庭环境中进行的任务，如简单的目标接近到复杂的厨房清洁。这些任务涵盖了从固定的目标接近到需要与各种机械装置交互的复杂操作。BiGym 提供了人类收集的演示，反映了现实世界中机器人轨迹的多模态特性。该基准支持多种观察空间，包括机器人的 orszens 感知数据和视觉输入，如来自三个相机视角的 RGB 和深度图像。BiGym 支持两种操作模式：整体模式和双手操作模式，分别考虑和不考虑移动基体的控制。此外，BiGym 还提供了一个标准的 Gymnasium API 接口，用于训练和评估强化学习和模仿学习算法。研究人员通过 BiGym 可以更好地研究和比较不同算法在移动双手操作任务上的能力。

论文初读：

28BoundlessHope
关注
专栏目录
论文速读|ReKep：空间时间理论的关系关键点约束，用于机器人操作
2301_81924597的博客
08-30 979
本研究展示了如何将一个多阶段的操作任务分解为一系列的关键点约束，并通过层次化的优化过程来解决机器人的动作（以一系列的端效器姿态表示），实现了实时的感知 - 行动循环。为了避免为每个新任务手动指定 ReKep，研究团队开发了一种自动化流程，利用大型视觉模型和视觉语言模型来产生 ReKep，这些模型能够从自由形式的语言指令和 RGB-D 观测中提取关键点，并编写约束函数。研究团队在两种不同的机器人平台上实现了系统，并进行了多种任务的实验，包括单臂和双臂机器人的多阶段、在野外、双手协作以及反应性行为的操作任务。
论文速读|RoboCasa：用于通用家用机器人的大规模日常任务模拟
2301_81924597的博客
09-01 495
该框架支持不同类型的机器人，包括移动操作机器人和类人机器人，并提供了 100 个多样化的任务，用于系统评估。这些任务包括基础的传感器运动技能，如抓取和放置、开关门、打开抽屉等，以及更复杂的组合任务，如烹饪和清洁活动。实验结果表明，通过模拟生成的数据可以显著提高机器人政策学习的性能，并且在现实世界中的任务中也表现出了良好的效果。RoboCasa 利用生成式 AI 工具，如文本到 3D 模型的转换，以及文本到图像模型的环境纹理，来创建多样化的环境和任务。
论文速读|PianoMime：通过互联网演示学习成为一名通才、灵巧的钢琴演奏者
2301_81924597的博客
09-07 145
这篇论文提出了PianoMime框架，通过互联网演示训练了一个通用的钢琴演奏代理。该框架结合了目标表示学习、策略分层和生成模型，展示了显著的泛化能力，未见过歌曲的平均F1评分为70%。研究结果表明，利用互联网数据可以有效地训练通用机器人代理。
AI论文速读 | TPLLM：基于预训练语言模型的交通预测框架
suzukiwudi的博客
03-13 1775
本文提出了TPLLM框架，一个基于预训练大型语言模型（LLMs）的交通预测系统，它通过结合序列和图嵌入层以及LoRA微调技术，能够在数据有限的情况下有效提高交通流量预测的准确性和泛化能力。
AI论文速读 | TimeXer：让 Transformer能够利用外部变量进行时间序列预测
suzukiwudi的博客
03-05 3547
最近的研究已经展现了时间序列预测显着的性能。然而，由于现实世界应用的部分观察性质，仅仅关注感兴趣的目标，即所谓的内部变量（endogenous variables），通常不足以保证准确的预测。值得注意的是，一个系统通常被记录为多个变量，其中外部序列可以为内部变量提供有价值的外部信息。因此，与之前成熟的多元或单变量预测不同，本文要么平等地对待所有变量，要么忽略外部信息，而本文重点关注一个实际场景，即**外部变量（exogenous variables）**的时间序列预测。
论文速读|RoboStudio：具有混合表示的机械臂物理一致世界模型
2301_81924597的博客
08-29 238
本网页提出了一种名为 Robo-GS 的实时到模拟（Real2Sim）到实时（R2S2R）的框架，用于机器人手臂控制和强化学习，该框架通过混合表示模型整合了网格几何、3D 高斯核和物理属性，以提高机器人手臂的数字资产表示，并支持高保真的渲染和物理上可信的仿真。
论文速读|CrossFormer：扩展跨体学习以用于操作、导航、行走和航空的先进策略
2301_81924597的博客
08-22 291
CrossFormer 是一个基于变换器的机器人策略，它能够消耗来自任何体型的数据，并且在最大、最多样化的数据集上进行训练，这个数据集包含 30 种不同机器人体型的 900,000 个轨迹。此外，该研究还提供了每个动作模式的评估视频，并与先前的最佳方法进行了比较，其中包括了观察空间和动作空间对齐的方法，如 Yang et al. 的工作。CrossFormer 是一种先进的跨体学习机器人策略，能够在不同动作空间的六种不同机器人体型上实现最佳性能，无需进行任何动作空间的对齐。
论文速读|CusADi：用于符号表达式和最优控制的 GPU 并行化框架
2301_81924597的博客
08-21 245
本文介绍了 CusADi，一个支持 CUDA 的 GPU 并行化框架，用于优化控制和符号表达式的并行计算，显著提高了模型预测控制（MPC）算法的计算速度。CusADi 是一个基于 casadi 符号框架的 GPU 并行化扩展，旨在并行化任意闭合形式的表达式，并提出了一种解决通用最优控制问题的近似闭合形式解法。该研究展示了相对于 CPU 实现的 MPC，CusADi 能够实现十倍的速度提升，并在多种机器人应用中证明了其有效性，包括并行仿真、参数扫描和策略训练。
论文速读|VMP：多功能运动先验用于鲁棒追踪物理角色上的运动
2301_81924597的博客
08-22 406
本文介绍了一种名为 VMP（Versatile Motion Priors）的技术，旨在通过一个两阶段的过程来控制物理角色，使其能够准确地追踪用户指定的运动参考。在第一阶段，研究者们通过训练一个变分自编码器（VAE）来从未经过滤的大规模运动数据集中提取运动的潜在空间表示。本研究提出了一种双阶段技术，用于在物理角色上精确追踪全身运动参考，通过训练一个变分自编码器来提取运动的潜在表示，并基于这一表示训练一个条件策略，以实现从运动输入到动力学输出的映射，从而实现对复杂运动的精确控制。
Ritz.js:一款干净便携的速读工具
06-18
**Ritz.js: 一款简洁高效的速读工具** Ritz.js 是一个专为提升阅读效率设计的JavaScript库，由David Bradbury在2015年以CC BY NC的许可发布。这款工具以其轻量级、易用性以及高度可定制化的特点，受到了许多开发者...
论文速读|基于手臂约束的轮腿机器人运动操控课程学习
2301_81924597的博客
09-04 354
本文提出了一种用于轮腿机器人局部操控的强化学习框架，使它们能够在高度动态的情况下执行一系列复杂的操作任务。通过引入臂约束网络和奖励感知课程学习方法，解决了引入机械臂带来的稳定性、安全性和效率挑战。仿真和真实机器人实验验证了该架构的有效性，展示了其在复杂环境中的适应能力。未来的工作将扩展到多智能体协作任务。
论文速读系列一：VoteNet、CBGS、BirdNet、StarNet、STD
Clichong
12-07 1256
如有错误，恳请指出。参考网上资料，对一些经典论文进行快速思路整理参考网上资料，对一些经典论文进行快速思路整理paper：《Deep Hough Voting for 3D Object Detection in Point Clouds》 结构图： 思路：利用投票的思路先获取物体中心，再进行后续方向尺寸等信息预测对于点云空间的每个点都可以预测其到某个物体中心的相对距离，这个相对距离可以通过标注信息获取进行有监督训练。那么如过某个区域的大部分点其预测的中心都比较接近，这个中心大概率是某个物体的中心。也就是说，
论文速读系列五：SASA、BtcDet、CG-SSD、Multi-view framework、Ret3D
Clichong
12-10 842
在2D目标检测中，有很多工作证明过**目标间的关联性**可以提升检测性能。同理，作者认为，在3D目标检测中，目标间的关联性也可以提升检测性能。然而，**现有的lidar-based检测器却鲜有探索目标间的关联性**，大多数检测器都是在**特征层面隐式**的研究目标关联性带来的影响。提出了作者研究2种关联性对3D目标检测的影响：intra-frame relations 和 inter-frame relations。 - **intra-frame**：对于同一帧点云，利用不同目标间的空间距离（预测的目标位
MATLAB - 机械臂手眼标定（眼在手外） - 估算固定相机相对于机器人基座的姿态
weixin_46300916的博客
10-04 1046
在拾取和放置任务中，例如垃圾桶拾取，通常会在环境中的固定位置安装摄像头，以便机器人操纵器检测工作区中的物体。基本感知管道使用该摄像头来估计目标物体相对于摄像头坐标系的姿态。然后将该姿态转换到机器人的基准坐标系，使机器人能够成功地用末端执行器拾取物体。要将物体的姿态转换到机器人基座坐标系，首先必须确定摄像机相对于机器人基座的姿态。本图显示了这种拾放构型以及所需的同质变换矩阵 TCameraToBase，它可将摄像机坐标系中的姿势变换到机器人底座坐标系中。
17【Protues单片机仿真】基于51单片机的太阳能智能谷物翻晒机器人
zcy849644371的博客
10-05 968
基于51单片机，避障，低于50CM报警，LED灯亮起，自动翻晒用光敏电阻，光照强度大，电机转动，相当于翻晒粮食，远程控制用按键代替，按下去电机就转动，相当于翻晒粮食，然后光照强度和超声波的距离都在LCD1602显示屏显示出来。
新能源汽车储充机器人：能源高效与智能调度
ancdz的博客
09-29 904
例如，在高峰时段，机器人会优先为即将耗尽电量的车辆提供充电服务，而在低峰时段，则会为储能设备充电，以备不时之需。储充机器人技术的出现，正是为了解决这一难题，为新能源汽车的广泛应用铺平道路。想象一下，在繁忙的商业区，这些智能设备在无人干预的情况下，自动为停靠在充电站的新能源汽车进行充电。总之，储充机器人的出现不仅为新能源汽车的充电问题提供了创新的解决方案，还为未来能源高效利用与智能调度描绘出一幅美好的蓝图。随着技术的不断进步和应用的不断拓展，我们有理由相信，储充机器人将在未来的能源革命中发挥至关重要的作用。
CoRL 2024 麻省理工学院提出T3触觉Transformer，打破触觉感知的壁垒，重塑未来机器人
weixin_44887311的博客
10-04 888
通过在FoTa数据集上进行预训练，T3具备了强大的泛化能力，我们可以通过少量领域的特定数据对其进行进一步的微调，并且其性能可随网络规模的增大而提高，如此便能够应对各种不同的感知需求。为了探究T3的优劣，我们训练和评估了3个策略：一个没有触觉输入的基础策略，一个由从头开始训练的神经网络编码的触觉输入策略，以及一个由T3编码的触觉输出策略。预训练的T3在许多任务上展现了显著的性能提升，特别是在复杂的长时间接触操作任务中，例如多引脚电子元件的插入任务，T3相较于传统方法提高了25%的任务成功率。
Nat. Commun.：飞秒激光书写受蚂蚁启发的可重构微型机器人集体
最新发布
weixin_44887311的博客
10-07 782
i 如果蚂蚁微型机器人的轴线与磁方向之间存在角度，则会在蚂蚁微型机器人上产生磁扭矩，从而引起蚂蚁微型机器人的旋转运动，以沿着磁场的方向排列。随着微纳制造技术和材料科学的快速发展，基于刺激响应材料的微型机器人得到了发展，它们表现出优异的响应变形特性、高度的环境适应性和强大的功能性。然而，从微型机器人的数量来看，当前的研究通常集中在单个可变形的微型机器人上。尽管可以可控地实现单个微型机器人的可逆、动态和快速的变形或运动，但是多个可变形微型机器人之间稳定、可逆的连接以形成集体以及它们的运动和应用尚未得到验证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值