Character Controllers Using Motion VAEs-动作生成算法

最新推荐文章于 2024-06-08 10:02:10 发布
最新推荐文章于 2024-06-08 10:02:10 发布
阅读量821 收藏
点赞数
文章标签： 算法 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36412570/article/details/119993489
版权
该研究结合了自编码器和深度强化学习，通过VAE编码动作变化的潜在变量，利用DRL规划达到目标位置的运动策略。文章提出了一种名为MVAE（motionVAE）的方法，能够生成逼真的动作并规划机器人运动路径。
摘要由CSDN通过智能技术生成

Character Controllers Using Motion VAEs

来源: SigGraph2021
研究方向: 动作生成
链接: https://arxiv.org/abs/2103.14274

文章动机

这篇文章整体的风格还是MANN，PFNN的那一套，是一个基于条件自编码器的的自回归模型。思路自然就是借助自编码器的encoder得到分布的均值和方差，然后基于采样得到重建分布的隐编码z，然后把隐编码z作为控制条件，去驱动t-1帧的人物动作向第t帧变化。值得注意的是，自编码器的输入是t-1帧的状态信息和t帧的状态信息。

方案实施

在这里插入图片描述

方案整体是非常朴素的，希望借助两帧状态信息的差异来让自编码器学习控制动作转换的分布，然后从分布中采样控制信息，去控制第t-1帧的状态向第t帧的状态转化。

然后下面接入DRL的部分，通过与环境的交互，规划每一个时间点上的潜变量控制信息z，然后得到规划好的动作，进而和环境再进行交互，得到再一次转移的动作。
在这里插入图片描述

方案可行性

使用VAE来编码控制运动的潜变量可以生成比较好的动作，然后在这个基础上，给出一个target的目标位置，借助DRL，进一步去学习运动到目标位置上的整个动作策略。嗯，也不是很复杂，有点意思！

结论

  • 用VAE可以编码控制动作变换的信息
  • 用DRL和VAE可以为机器人规划到达target位置的运动，称为MVAE。（motion VAE）
Wastoon
关注
routing-controllers、class-validator、typedi的使用总结
mackJun的博客
08-23 4341
routing-controllers、class-validator,typedi的使用总结 由于typescript的版本书写的nodejs的接口用之前的方式书写有些不够清晰，也不能提现出typescript的特色，所以就使用了如上几个库书写typescript的接口,类似于后端框架的写法 如果需要深入学习，请前往github官方API深入学习，以下是个人学习后的一些总结。 官方API地址(h...
character-motion-vaes:使用Motion VAE的角色控制器
05-10
使用Motion VAE的角色控制器 此存储库是带有上面标题的SIGGRAPH 2020论文的代码库。 请在我们的项目网站找到该论文和演示。 快速开始 该库应在Linux，Mac或Windows上运行。 安装要求 # TODO: Create and activate virtual env cd MotionVAEs pip install -r requirements NOTE: installing pybullet requires Visual C++ 14 or higher. You can get it from here: https://visualstudio.microsoft.com/visual-cpp-build-tools/ 运行预训练的模型 使用播放脚本运行预训练的模型。 结果呈现在。 使用鼠标来控制相机。 按r重设任务，按g进行其他控制。 cd va
MotionVAEs-WebGL:使用Motion VAE进行实时角色动画和控制的交互式Webgl演示[SIGGRAPH 2020]
05-22
Motion VAEs WebGL演示 此存储库包含的源代码。 快速开始 要在本地运行演示，只需在项目文件夹中启动Web服务器。 git clone https://github.com/belinghy/MotionVAEs-WebGL.git cd MotionVAEs-WebGL python -m http.server 确保您的浏览器支持WebGL，然后转到http://localhost:8000/或指向服务器的任何位置。 Web服务器将绕过CORS问题，因为现代Web浏览器不允许访问用户的文件系统。 控制项 放置目标：按住Ctrl并单击 更改操纵杆方向：Ctrl单击或WASD 在GUI中单击“重置”会将字符重置到中心 引文 如果您发现我们的研究有用，请引用以下论文。 @article { 2020-TOG-MVAE , author = { Hung Y
A Scalable Approach to Control Diverse Behaviors-动作生成算法
qq_36412570的博客
09-01 487
A Scalable Approach to Control Diverse Behaviors for Physically Simulated Characters 来源: SigGraph2021 研究方向: 动作生成 链接: https://research.fb.com/publications/a-scalable-approach-to-control-diverse-behaviors-for-physically-simulated-characters/ 文章动机 这篇文章提出了一种可以
DeepMimic-动作生成算法
qq_36412570的博客
09-01 857
DeepMimic 备注: https://blog.csdn.net/weixin_41888257/article/details/104513891 来源: SigGraph2018 研究方向: 动作生成 这篇论文提出了：通过结合强化学习，利用motion capture数据, 使动画角色可以模仿数据当中的运动（包括一些高动态的运动，比如后空翻，还有一些跟接触类的运动，比如爬行）的同时，还可以实现用户定义的一些任务。同时，该论文还实现了多种技能的，包括：1）Multi-Clip reward: 使角色
Learned Motion Matching-动作生成算法
qq_36412570的博客
09-01 2246
Learned Motion Matching 来源: SigGraph2021 研究方向: 动作生成 链接: https://dl.acm.org/doi/pdf/10.1145/3386569.3392440 Motion Matching如今已经是3A游戏处理locomotion的主流方法了。 文章动机 一个传统的motion matching算法可能分为一下几步。用户输入控制信号后，将其投影到特征空间，然后在这个特征空间中找到与其最相近的特征x，然后进一步找到特征x对应pose，将pose输出，就
routing-controllers-openapi:路由控制器的运行时OpenAPI v3架构生成
05-02
npm install --save routing-controllers-openapi 用法 import { getMetadataArgsStorage } from 'routing-controllers' import { routingControllersToSpec } from 'routing-controllers-openapi' // Define your ...
Simulated-line-following-robot-using-PID-controllers-with-Webots-and-Python:该机器人在其上表面上一行有3个LED（从左到右，在顶视图中从后向前看时）
04-09
使用带有Webots和Python的PID控制器的模拟线跟随机器人 该机器人在其上表面上一行有3个LED（从左到右，在顶视图中从后向前看时） 任务 A）跟随线： 机器人会通过中间有白色条带的黑色轨道，以到达第一个检查点。...
pcie-gbe-controllers-open-source-manual.rar_5QX_Controllers_deve
09-21
标题中的"pcie-gbe-controllers-open-source-manual.rar_5QX_Controllers_deve"表明这是一份关于PCI Express（PCIe）千兆位以太网（Gigabit Ethernet，Gbe）控制器的开源手册，针对5QX系列控制器的开发者。...
express-controllers:增加model-view-controller的controller风格路由来表达
07-10
express-controllers 添加了来自模型-视图-控制器范例的控制器样式路由，以使用进行。 安装 npm： $ npm install express-controllers 用法 var express = require ( 'express' ) var controllers = require ( '...
RobotMotionVAE:通过变分自动编码器学习机器人运动策略
03-27
使用变分自动编码器学习在小组会话中将注意力定向到注意力集中 抽象的 社交机器人通常需要与一群人一起或在一群人周围进行操作，包括参加小组对话。 在社交小组对话中，机器人的身体定向是一种微妙而有效的策略，可以将注意力转移到对话中，并重定向对话的焦点。 我们研究了使用变分自动编码器（VAE）将高维观测值压缩为低维潜伏状态表示的有效性，机器人可以从中学习面向对话说话者的运动策略。 我们研究了多种训练VAE的程序，以学习用于重建输入图像和预测机器人动作值的潜在表示形式。 然后，我们在模拟环境中评估学习到的策略，并将VAE的性能与卷积神经网络（CNN）的性能进行比较，后者将高维观测值直接映射到动作值，而无需学习潜在状态表示。 我们的结果表明，针对此任务的VAE最佳训练过程是从头开始一起训练图像重建和动作预测。 由此产生的VAE有效地学习了一种策略，该策略允许机器人通过遵循最大的社交显着性点（来自组成员
AMP Adversarial Motion Priors for Stylized Physics-动作生成算法
qq_36412570的博客
09-01 1388
AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control 来源: SigGraph2021 研究方向: 动作生成 链接: https://arxiv.org/abs/2104.02180 文章动机 动作生成的总体方案可以分为kinematic methods和physics-based的方法。 kinematic methods基本上不会使用显式的运动方程与生成动作，相反会借助大量的motion clip去进行学
人体动作识别与生成：基于ST-GCN的方法
我爱计算机视觉
03-13 4823
本文转载自DeepBlue深兰科技。ST-GCN: Spatial Temporal Graph Convolutional Networks时空图卷积网络，这个网络结构来源于CVPR 2...
技术 | 图像动作驱动-First Order Motion Model 解读
shenlanshenyanai的博客
02-09 3673
图像动作驱动-First Order Motion Model 解读
GAN 网络：我的目的是序列动作生成
baidu_41890159的博客
09-04 331
笔记
AAAI 2021 | 商汤提出BSN++: 时序动作提名生成网络
我爱计算机视觉
02-25 1010
摘要 ·看点在 AAAI 2021 上，商汤科技城市计算研发团队提出了基于互补边界回归和尺度平衡交互建模的时序动作提名生成网络（BSN++），针对现有方法存在大量边界噪声、缺乏提名之间的...
生成模型之VAE与VQ-VAE
m0_56214772的博客
03-23 4557
有关图像处理的课程作业需要学习一篇论文，此论文中作者使用了VQ-VAE模型对舞蹈动作进行编码。因此，对相关知识略作整理以供之后查找。AE、VAE和VQ-VAE可以统一为latent code的概率分布设计不一样，AEr通过网络学习得到任意概率分布，VAE设计为正态分布，VQVAE设计为codebook的离散分布。
3D动作绑定_操纵加鲁鲁兽的机会来了，SIGGRAPH论文提出RigNet帮动画师做骨架绑定...
weixin_39804641的博客
11-21 311
这篇SIGGRAPH 2020 论文提出基于输入角色模型生成动画骨架绑定结果的端到端自动化方法 RigNet，这或许能帮助加速动画制作流程。选自arXiv，作者：ZHAN XU等，机器之心编译，参与：魔王。在动画制作中，骨架绑定（Rigging）与动画密切相关。什么是动画骨架绑定呢？基于 3D 蒙皮创建骨骼。动画模型中的关节就像现实中人的关节一样，两个关节组成一段骨骼，几段骨骼组成一个骨架。绑定就...
探索未来动画：使用Motion VAEs的字符控制器
最新发布
gitblog_00096的博客
06-08 467
探索未来动画：使用Motion VAEs的字符控制器 去发现同类优质开源项目:https://gitcode.com/ 在数字时代的浪潮中，如何让虚拟人物的动作更加自然流畅，成为了游戏与动画领域的一大挑战。今天，我们为您揭开一款开源神器的面纱——基于Motion Variational Autoencoders（简称Motion VAEs）的字符控制器。这一创新项目源自UBC计算机科学系的一篇SI...
IEC 61131-3标准： Programmable Controllers的编程语言
"IEC 61131-3标准是国际电工委员会（IEC）发布的一个全球性标准，旨在规范电气和电子领域的标准化工作。这个标准的第二版发布于2003年，主要关注可编程控制器的编程语言。IEC 61131-3定义了五种不同的编程语言，适用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值