SAPIEN: A SimulAted Part-based Interactive ENvironment

最新推荐文章于 2024-09-30 13:49:56 发布
最新推荐文章于 2024-09-30 13:49:56 发布
阅读量797 收藏 3
点赞数 1
分类专栏： 具身智能 文章标签： 人工智能 机器人 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35623400/article/details/129814558
版权

原论文作者的介绍视频：https://www.bilibili.com/video/BV1H24y1q7hJ/

他这个论文是面向家用场景机器人的一个仿真环境

为了使机器人实现人类级别的感知和交互能力，我们可以通过与真实环境的交互来训练机器人，但是在现实世界中训练机器人不仅耗时耗力，而且也有很多的不稳定因素，所以一般训练都在仿真环境中进行
但是构建仿真环境主要面临以下四个挑战：首先是对物理规则的重现，但是完美重现是不太可能的，一般都是近似实现，第二点是仿真环境中的机器人应当与真实机器人行为与参数一致，这样才能训练后无缝过渡到现实世界，第三是环境需要产生物理上准确的效果图，以此来减轻视觉上的差距，最后是环境需要足够的内容、场景和对象供机器人进行交互
在这里插入图片描述

现有的一些仿真环境在不同程度上基本实现了这些要求，但是对于家庭里一些日常物品的对象和操作环境还比较欠缺，基于此作者提出了SAPIEN，它主要由三部分组成
在这里插入图片描述

首先来介绍他的引擎，它采用了英伟达的physX引擎来进行物理模拟，并且提供了三种不同的关节系统，以适用于模拟不同的物体
在这里插入图片描述

对于ROS接口，他的API将机器人交互分为了三个层次，以满足研究人员对机器人运动的不同需求
然后就是同步和异步模式，同步模式中仿真和客户端结合在一起，异步模式下他们是分开的，在该模式下，模拟机器人和真实机器人的接口是相同的，这使得后期在进行迁移的时候不用做额外的设置

接下来是他的模拟的内容，里面包含有数据集和加载器
在这里插入图片描述

数据集中有2000多个对象模型，并且注释了3种类型的运动：一种是类似门的绕轴旋转，第二种是拉抽屉那种平移运动，第三种是类似与开瓶盖的那种操作

对于加载器，它里面提供了数据集中每个对象的URDF文件，同时也支持设置物理属性和手动添加机器人模型

最后是它的渲染器，这里主要对颜色、光线等进行渲染，同时支持对渲染器进行替换
在这里插入图片描述

接下来作者在机器人感知和交互两个方面对SAPIEN进行演示
首先是机器人感知，在这里先演示了可移动零件检测任务，结果如下图所示，他们在小零件方面表现很差，像这个车轮、脚轮
在这里插入图片描述

接下来演示了运动属性估计任务，数据集和前边一样，实验结果的精度总体来看比较高
在这里插入图片描述

之后是机器人交互的演示，这里主要演示了拉抽屉和开门两种任务，基于启发式的算法，成功率还是比较高的，作者还采用了基于强化学习的方法，但是总体来说成功率比启发式算法要低
在这里插入图片描述
在这里插入图片描述

wo42ge
关注
专栏目录
sapien-wars:智人大战
05-15
快速启动 一个简单的入门工具，可以快速启动表达/React数据驱动的应用程序。
大名鼎鼎的 SAPIEN-PowerShell-Studio-2023-v5.8.215-x64 最新版本
01-21
大名鼎鼎的 SAPIEN_PowerShell_Studio_2023_v5.8.215_x64 最新版本 X64 2023 v5.8.215 包含你知道的...
探索未来机器人技术：ManiSkill 3（Beta）—— 开源模拟与训练框架
gitblog_00074的博客
06-07 472
探索未来机器人技术：ManiSkill 3（Beta）—— 开源模拟与训练框架 项目地址:https://gitcode.com/haosulab/ManiSkill ManiSkill 3 是一个由 SAPIEN 驱动的强大的统一机器人模拟和训练平台，致力于打造一个完全开放源代码的生态系统。这一最新版本正处于 Beta 阶段，以其卓越的速度、多样化的任务和灵活的构建工具，为机器人学习研究者提供了...
SAPIEN：铰接、计算机视觉、机器人操作、机器人规划、强化学习、模仿学习的仿真环境
欢迎一起成长呀
10-12 1872
SAPIEN：铰接、计算机视觉、机器人操作、机器人规划、强化学习、模仿学习的仿真环境
【EAI】具身视觉语言规划（EVLP）仿真环境汇总
stay hungry, stay foolish
11-18 1111
解决 EVLP 任务通常需要使用仿真环境和数据集。仿真平台和数据集有助于复现和评估具身智能系统。
大语言模型LLMs驱动机器人 李飞飞 VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models
weixin_41407147的博客
07-12 3904
在这项工作中，我们的目标是合成机器人轨迹，即一个密集的6自由度末端执行器航点序列，用于处理给定开放集合的指令和开放集合的对象的各种操作任务。我们首先观察到LLMs擅长根据自由形式的语言指令推断出可供性和约束。更重要的是，通过利用他们的代码编写能力，他们可以与视觉语言模型（VLM）交互，组合3D价值地图 *3D Value Map*，将知识固定在代理的观察空间中。然后，将组合的价值地图用于基于模型的规划框架中，以zero-shot方式合成对动态干扰具有鲁棒性的闭环机器人轨迹。
机器人学习--机器人仿真环境汇总
GGY1102的博客
03-05 2196
注释：玩机器人技术和研究，假设已经知道ROS，以下大部分仿真环境几乎都可以与ROS交互 非儿童机器人编程环境scratch等。 一、Gazebo 大名鼎鼎的仿真环境 官网地址：http://gazebosim.org/ 二、SAPIEN 来自 2020年 CVPR论文的描述。 A SimulAted Part-based Interactive ENvironment ， a realistic and physics-rich simulated envi...
神经网络视频/图像渲染相关经典论文、项目、数据集等资源整理分享
lqfarmer的博客
06-05 3956
本资源首先对深度神经网络视频/图像渲染（Neural Rendering）相关技术进行介绍，然后整理了神经网络渲染相关的经典论文、项目、数据集等资源，分享给大家。 神经网络渲染简介 神经网络渲染是一个新兴的快速发展的领域，它将生成机器学习技术与计算机图形学中的物理知识相结合，例如通过将可微分渲染技术集成到网络训练中。 Ayush Tewari 等人将神经网络渲染定义为 深层图像或视频生成方法，能够显式或隐式控制场景属性，如照明、相机参数、姿态、...
Python库 | sapien-1.1.1-cp37-cp37m-manylinux2014_x86_64.whl
03-24
标题中的“sapien-1.1.1-cp37-cp37m-manylinux2014_x86_64.whl”是一个Python的轮子（wheel）文件，这是一种预编译的Python软件包格式，用于简化Python库的安装过程。这个文件的命名结构包含了关于该库的重要信息： ...
snippets-mussum-ipsum:非常Musser - Sublime Text Snippets
06-26
Sublime Text 2 或 3 - 片段 - Mussum Ipsum 基于网站的工作 使用快捷键 mussum + tab，您可以生成一段 Mussum Ipsum。 结果是这个文本片段： ... Sapien 在 monti palavris qui num 中的意思是 nadis i p
[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors
m0_52911108的博客
09-27 1246
本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
最新发布
rjszcb的博客
09-30 521
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
Python精选200Tips：171-175
AnFany
09-26 1322
Python深度学习的项目
Python/大数据/机器识别毕业设计选题题目推荐
初尘屿风的博客
09-27 990
基于Python和Diango在线购物商城系统+报告文档+指导搭建视频基于深度学习的人脸识别与管理系统，Python实现基于Python/机器学习链家网新房数据可视化及预测系统Python豆瓣电影情感分析推荐系统+爬虫+可视化，过滤算法基于python的django框架生鲜商城管理系统设计与实现基于Python的Flask微博话题舆情分析可视化系统设计基于Python豆瓣电影数据可视化分析系统+毕业论文+指导搭建视频基于Python天气预报数据可视化分析系统+毕业论文基于Python的深度学习音乐推荐系统+
OpenCV视频I/O(13）视频采集类VideoCapture之等待多个视频流中的任意一个变为可用状态函数waitAny()的使用
jndingxin的专栏
09-29 389
cv::VideoCapture::waitAny 是一个静态成员函数，用于等待多个视频流中的任意一个变为可用状态。这个函数可以用于同步多个视频流，直到其中一个流准备好为止。
持续学习与创新能力的双重提升
thinkers
09-25 565
  ---
numpy is not available
xfsong2012的博客
09-27 417
在测试第一个程序的时候，出现Numpy is not available的错误，根据。安装的时候，安装的是最新版的numpy，检查numpy的版本为2.1.1版。我的pytorch版本为1.12.1，选择不高于1.21的版本即可。的办法知道是因为numpy与pytorch版本不一致造成的。2、安装需要的numpy版本，比如1.21版。
python 实现linear discriminant analysis线性判别分析算法
luthane的博客
09-26 525
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种用于降维和分类的监督学习算法。它通过最大化类间散度和最小化类内散度来找到最佳投影方向，使得不同类别的数据在新的空间中尽可能分开，同一类别的数据尽可能靠近。LDA的基本思想LDA的基本思想是将多维数据映射到低维空间，同时保留数据之间的类别差异。具体来说，LDA通过计算类内散度矩阵（描述同一类别内部数据的分布情况）和类间散度矩阵（描述不同类别之间的差异），然后求解这两个矩阵的广义特征值问题，找到最佳的投影方向。
OTP语音播报芯片-实现智能门铃叮咚方案
jiuxin666的博客
09-26 535
九芯电子推出功能强大、外围简单的门铃叮咚芯片NV040D，音质优美，性能稳定，可定制性强，满足智能门铃行业快速简捷设计需求，引领智能门铃市场向智能化、个性化发展。
create a html page with disney style for news website home page
05-24
Sure, here's a basic example of a Disney-style news website homepage: ```html <!DOCTYPE html> <html> <head> <title>Disney News</title> <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/animate.css/3.7.2/animate.min.css"> <style> body { background-color: #f7e5df; font-family: Arial, sans-serif; margin: 0; padding: 0; } header { background-color: #3f51b5; color: #fff; display: flex; flex-wrap: wrap; justify-content: space-between; padding: 10px; } h1 { margin: 0; } nav { flex: 1; margin-left: 10px; } nav ul { list-style: none; margin: 0; padding: 0; display: flex; justify-content: space-between; } nav li { margin: 0 10px; } nav a { color: #fff; text-decoration: none; text-transform: uppercase; transition: color 0.2s ease-in-out; } nav a:hover { color: #ffd700; } main { display: flex; flex-wrap: wrap; justify-content: space-between; padding: 20px; } article { background-color: #fff; border-radius: 5px; box-shadow: 0 0 10px rgba(0,0,0,0.3); flex-basis: calc(33.33% - 20px); margin-bottom: 20px; overflow: hidden; position: relative; transition: box-shadow 0.2s ease-in-out; } article:hover { box-shadow: 0 0 20px rgba(0,0,0,0.6); } article img { width: 100%; height: 200px; object-fit: cover; } article h2 { background-color: #ffd700; color: #000; font-size: 1.1rem; margin: 0; padding: 10px; position: absolute; bottom: 0; left: 0; right: 0; } article p { padding: 10px; margin: 0; } footer { background-color: #3f51b5; color: #fff; display: flex; justify-content: center; padding: 10px; } </style> </head> <body> <header> <h1>Disney News</h1> <nav> <ul> <li><a href="#">Home</a></li> <li><a href="#">Movies</a></li> <li><a href="#">TV Shows</a></li> <li><a href="#">Theme Parks</a></li> <li><a href="#">Merchandise</a></li> </ul> </nav> </header> <main> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>Disney's Newest Movie</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>Behind the Scenes of Frozen 2</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>New Disney+ Original Series</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>Disney's Latest Theme Park Expansion</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>New Disney Princess Merchandise</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> <article> <img src="https://via.placeholder.com/400x200" alt="Article Image"> <h2>Upcoming Live-Action Disney Remakes</h2> <p>Lorem ipsum dolor sit amet, consectetur adipiscing elit. Integer quis leo sapien. In et rhoncus justo. Curabitur pretium urna vel nisl lobortis, eu ullamcorper metus fringilla.</p> </article> </main> <footer> <p>© Disney News 2021</p> </footer> </body> </html> ``` This is just a starting point, and you can customize the design and content to fit your specific needs.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值