论文速读|PianoMime：通过互联网演示学习成为一名通才、灵巧的钢琴演奏者

最新推荐文章于 2024-09-10 23:30:00 发布
最新推荐文章于 2024-09-10 23:30:00 发布
阅读量128 收藏
点赞数 1
分类专栏： 机械臂有关文献 文章标签： 机器人 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81924597/article/details/141951548
版权

项目地址：https://pianomime.github.io/ 

这篇论文提出了PianoMime框架，通过互联网演示训练了一个通用的钢琴演奏代理。该框架结合了目标表示学习、策略分层和生成模型，展示了显著的泛化能力，未见过歌曲的平均F1评分为70%。研究结果表明，利用互联网数据可以有效地训练通用机器人代理。

论文初读：

28BoundlessHope
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI论文速读 | TimeXer：让 Transformer能够利用外部变量进行时间序列预测
suzukiwudi的博客
03-05 3365
最近的研究已经展现了时间序列预测显着的性能。然而，由于现实世界应用的部分观察性质，仅仅关注感兴趣的目标，即所谓的内部变量（endogenous variables），通常不足以保证准确的预测。值得注意的是，一个系统通常被记录为多个变量，其中外部序列可以为内部变量提供有价值的外部信息。因此，与之前成熟的多元或单变量预测不同，本文要么平等地对待所有变量，要么忽略外部信息，而本文重点关注一个实际场景，即**外部变量（exogenous variables）**的时间序列预测。
AI论文速读 | UniTS：构建统一的时间序列模型
suzukiwudi的博客
03-18 1552
基础模型，尤其是大语言模型，正在深刻地改变深度学习。可以通过少量提示或微调使单个预训练模型适应许多任务，而不是训练许多特定于任务的模型。然而，当前的基础模型适用于序列数据，但不适用于时间序列，由于固有的多样化和多域时间序列数据集、预测、分类和其他类型任务的不同任务规范以及对任务的明显需求需要各自专门的模型（task-specialized model），这带来了独特的挑战。本文开发了 UNITS，这是一个统一的时间序列模型，支持通用任务规范，可容纳分类、预测、插补和异常检测任务。
AI论文速读 | TPLLM：基于预训练语言模型的交通预测框架
suzukiwudi的博客
03-13 1696
本文提出了TPLLM框架，一个基于预训练大型语言模型（LLMs）的交通预测系统，它通过结合序列和图嵌入层以及LoRA微调技术，能够在数据有限的情况下有效提高交通流量预测的准确性和泛化能力。
论文速读|CrossFormer：扩展跨体学习以用于操作、导航、行走和航空的先进策略
2301_81924597的博客
08-22 263
CrossFormer 是一个基于变换器的机器人策略，它能够消耗来自任何体型的数据，并且在最大、最多样化的数据集上进行训练，这个数据集包含 30 种不同机器人体型的 900,000 个轨迹。此外，该研究还提供了每个动作模式的评估视频，并与先前的最佳方法进行了比较，其中包括了观察空间和动作空间对齐的方法，如 Yang et al. 的工作。CrossFormer 是一种先进的跨体学习机器人策略，能够在不同动作空间的六种不同机器人体型上实现最佳性能，无需进行任何动作空间的对齐。
论文速读|ReKep：空间时间理论的关系关键点约束，用于机器人操作
2301_81924597的博客
08-30 555
本研究展示了如何将一个多阶段的操作任务分解为一系列的关键点约束，并通过层次化的优化过程来解决机器人的动作（以一系列的端效器姿态表示），实现了实时的感知 - 行动循环。为了避免为每个新任务手动指定 ReKep，研究团队开发了一种自动化流程，利用大型视觉模型和视觉语言模型来产生 ReKep，这些模型能够从自由形式的语言指令和 RGB-D 观测中提取关键点，并编写约束函数。研究团队在两种不同的机器人平台上实现了系统，并进行了多种任务的实验，包括单臂和双臂机器人的多阶段、在野外、双手协作以及反应性行为的操作任务。
论文速读|VMP：多功能运动先验用于鲁棒追踪物理角色上的运动
2301_81924597的博客
08-22 341
本文介绍了一种名为 VMP（Versatile Motion Priors）的技术，旨在通过一个两阶段的过程来控制物理角色，使其能够准确地追踪用户指定的运动参考。在第一阶段，研究者们通过训练一个变分自编码器（VAE）来从未经过滤的大规模运动数据集中提取运动的潜在空间表示。本研究提出了一种双阶段技术，用于在物理角色上精确追踪全身运动参考，通过训练一个变分自编码器来提取运动的潜在表示，并基于这一表示训练一个条件策略，以实现从运动输入到动力学输出的映射，从而实现对复杂运动的精确控制。
AI论文速读 |2024[IJCAI]TrajCL: 稳健轨迹表示:通过因果学习隔离环境混杂因素
suzukiwudi的博客
05-06 1252
轨迹建模是指描述人类运动行为的特征，是理解移动模式的关键一步。然而，现有的研究通常忽略地理空间背景的混杂影响，导致获得虚假的相关性和有限的泛化能力。为了弥补这一差距，本文首先制定了结构因果模型（Structural Causal Model，SCM），从因果角度解读轨迹表示学习过程。在 SCM 的基础上，进一步提出了一种基于因果学习的轨迹建模框架（TrajCL），该框架利用后门调整理论作为干预工具来消除地理空间上下文和轨迹之间的虚假相关性。
论文速读|RoboCasa：用于通用家用机器人的大规模日常任务模拟
2301_81924597的博客
09-01 455
该框架支持不同类型的机器人，包括移动操作机器人和类人机器人，并提供了 100 个多样化的任务，用于系统评估。这些任务包括基础的传感器运动技能，如抓取和放置、开关门、打开抽屉等，以及更复杂的组合任务，如烹饪和清洁活动。实验结果表明，通过模拟生成的数据可以显著提高机器人政策学习的性能，并且在现实世界中的任务中也表现出了良好的效果。RoboCasa 利用生成式 AI 工具，如文本到 3D 模型的转换，以及文本到图像模型的环境纹理，来创建多样化的环境和任务。
论文速读|RoboStudio：具有混合表示的机械臂物理一致世界模型
2301_81924597的博客
08-29 191
本网页提出了一种名为 Robo-GS 的实时到模拟（Real2Sim）到实时（R2S2R）的框架，用于机器人手臂控制和强化学习，该框架通过混合表示模型整合了网格几何、3D 高斯核和物理属性，以提高机器人手臂的数字资产表示，并支持高保真的渲染和物理上可信的仿真。
论文速读系列一：VoteNet、CBGS、BirdNet、StarNet、STD
Clichong
12-07 1229
如有错误，恳请指出。参考网上资料，对一些经典论文进行快速思路整理参考网上资料，对一些经典论文进行快速思路整理paper：《Deep Hough Voting for 3D Object Detection in Point Clouds》 结构图： 思路：利用投票的思路先获取物体中心，再进行后续方向尺寸等信息预测对于点云空间的每个点都可以预测其到某个物体中心的相对距离，这个相对距离可以通过标注信息获取进行有监督训练。那么如过某个区域的大部分点其预测的中心都比较接近，这个中心大概率是某个物体的中心。也就是说，
论文速读|基于手臂约束的轮腿机器人运动操控课程学习
2301_81924597的博客
09-04 326
本文提出了一种用于轮腿机器人局部操控的强化学习框架，使它们能够在高度动态的情况下执行一系列复杂的操作任务。通过引入臂约束网络和奖励感知课程学习方法，解决了引入机械臂带来的稳定性、安全性和效率挑战。仿真和真实机器人实验验证了该架构的有效性，展示了其在复杂环境中的适应能力。未来的工作将扩展到多智能体协作任务。
论文速读系列五：SASA、BtcDet、CG-SSD、Multi-view framework、Ret3D
Clichong
12-10 834
在2D目标检测中，有很多工作证明过**目标间的关联性**可以提升检测性能。同理，作者认为，在3D目标检测中，目标间的关联性也可以提升检测性能。然而，**现有的lidar-based检测器却鲜有探索目标间的关联性**，大多数检测器都是在**特征层面隐式**的研究目标关联性带来的影响。提出了作者研究2种关联性对3D目标检测的影响：intra-frame relations 和 inter-frame relations。 - **intra-frame**：对于同一帧点云，利用不同目标间的空间距离（预测的目标位
学习笔记 | 特征和实例联合选择：强化学习视角
叶庭云 成为自己的光
03-01 640
学习笔记 | IJCAI 2022 特征和实例联合选择：强化学习视角
论文速读Backbone系列一：点云Transformer结合、PointNet++改进、点云卷积核设计
Clichong
12-07 2890
如有错误，恳请指出。对一些经典论文进行快速思路整理，以下内容主要关注的是3d点云的backbone设计，包括transformer的应用，卷积核的设计，PointNet++网络的改进。1）提出Offset Atention，在原本的self-attention中的LBR(Fa)改为LBR(Fin-Fa)，同时魔改了norm方法。其中这里的Fin是原始点特征，Fa是进行self-attention变换之后的特征 2）提出Neighbor Embedding，利用attention可以捕获全局特征但是缺少局部特
【机器人工具箱Robotics Toolbox开发笔记（十八）】SCARA机器人的gui界面：正运动学仿真实例
m0_72676510的博客
09-07 164
本文通过机器人工具箱实现SCARA机器人的GUI界面以进行正运动学分析，主要涉及到MATLAB的Robotics Toolbox以及GUI工具箱的使用。
论文速读|形机器人的高速和抗冲击远程操作
最新发布
2301_81924597的博客
09-10 91
本文提出了一种综合解决方案，用于远程控制类人机器人，实现了高速度和冲击抵抗的操作。通过结合无校准的运动捕捉和重定标、低延迟全身运动流式传输工具箱和高带宽的摆线驱动器，显著提高了机器人控制的透明度和同步性。实验结果表明，该系统在高速运动和冲击环境下表现出色，达到了前所未有的性能水平。
QQ频道机器人零基础开发详解(基于QQ官方机器人文档)[第三期]
qq_71745595的博客
09-10 902
QQ频道机器人零基础开发详解第三期
【路径规划】 使用计算机视觉和机器人操纵器绘制肖像
2401_84610415的博客
09-07 560
本项目展示了使用计算机视觉和机械臂绘制肖像的完整流程。系统利用网络摄像头获取肖像图像，经过图像处理后生成路径，然后利用逆向运动学将路径转化为机械臂的运动轨迹，最终在硬件机器人上执行绘制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值