如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

文章来源:ATYUN AI平台

模拟类人表演一系列动态性强的特技

运动控制问题作为强化学习的基准,深度强化学习方法无论对操纵还是运动型任务都十分有效。然而,经过深度强化学习训练的人体模型常常会作出不自然的行为动作,例如抖动、不对称步态以及过度的四肢动作。那么,我们能将人体模型的行为动作训练得更为自然吗?

从计算机图形学中可以得到大量的灵感,基于物理的自然运动模拟研究已然持续了几十年。对于运动质量的重视往往由影视、视觉效果和游戏应用所激发。多年来,基于物理的人物模型动画的大量研究,开发出了控制器,可为重要任务和角色制作强健且自然的动作。这些方法能够利用人类的洞察力合并特定的任务控制结构,用于提供在运动中人物模型能够达成的较强的感应偏差(例如有限自动机、简化模型及逆动力学)。不过由于这些设计上的问题,控制器只能对应特定的角色或任务,而为行走所开发的控制器可能无法做到更具动态性的技巧,在这一层面人类的洞察力也变得无力。

研究者从两个领域获取灵感,不仅利用深度学习模型带来的普遍性,还有能与计算机图形学中最先进的全身动作模拟争锋的自然动作。首先呈现概念性的简单强化学习框架,使模拟人物从动作参考视频中学习动态和特技,视频以动作捕捉数据记录的形式从真人那里获取。之后展示一个技巧范例,比如旋风踢或后空翻,让模拟人物学习模仿这一技巧。生成动作的策略在动作捕捉中几乎是无法辨别的。

动作模仿

在大多强化学习的基准上,模拟人物往往代表着用简单的模型,粗略模拟出近似于真实世界的动态。因此模拟人物可能倾向于利用模拟中特有的性质,导致生成真实世界中不可能出现的不自然动作。结合更真实的生物力学模型可以得出更多的自然动作,不过构建高逼真模型的确非常有挑战性,出现不自然的动作也很寻常。

可替代的方法便是依照数据处理,捕捉到的人类参照动作提供了自然的动作,训练人物模仿参考动作来实现更为自然的动作。模仿动作数据在计算机动画中有悠久的历史,近期还用深度强化学习做了很多展示。尽管结果看上去更为自然,但想要如实复制大量动作还是远远不够。

因此,训练策略将会是动作模仿任务,模拟人物的目标便是重现已出现过的动态参考动作。每个参考动作由一系列的目标动作由q^0,q^1,…,q^T代表,其中q^t是时步t中的目标动作。奖励机制可将最小二乘法中的动作错误最小化,即目标动作q^t和模拟人物qt动作之间的错误。

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

更精细的方法已在动作模仿中应用过,而且对于仅将跟踪误差(伴随着额外的洞察力)最小化相当有效。这些策略是通过用PPO来优化这一目标来训练的。

根据这一框架,可以开发出全套极具挑战性的技能,从运动到杂技,从武术到舞蹈皆可。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

上图为类人学习模拟各种技巧

蓝色人物是模仿者,绿色人物则重复每段动作捕捉视频

动作(从上至下):侧空翻 侧手翻 蹬足上 单手跨栏

接下来,与过去常用的方法(如可生成的对抗性模仿学习,即GAIL)模仿动作捕捉视频的结果相比较。研究者所用的方法比GAIL简单得多,而且能更好地重现参考动作。由此产生的策略避免了许多深度强化学习方法带来的人工仿造感,并使人物能够产生一种真实、带有流动感的跑步姿态。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

以上两图为新方法与Merel利用GAIL方法模仿动作捕捉数据的对比

新方法显然比过去利用深度强化学习的模仿更为自然

洞察力

参考状态初始化(RSI)

假设模拟人物要模仿后空翻的动作,它要如何得知做到半空中全程翻转便能获得高回报呢?大多数强化学习算法都是可回顾的,而他们只能通过既有的内容得知哪些状态可获得奖励。在后空翻一例中,模拟人物需要先观察到完美的后空翻轨迹线,才能了解那些状态将会获得高回报。不过后空翻对于起跳和落地这些初始状态要求精密,人物不太可能在随意探索中偶然得到完美的轨迹线。为了给人物提示,每一场实验的开始,研究者将人物状态初始化,从随机的参考动作开始。因此有时候模拟人物会从平地上开始动作,有时则从半空中的翻跳动作开始。这让人物能够在精通每一个状态前,就能记住哪些状态的结果会得到高回报。

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

上图:固定初始状态

下图:参考状态初始化(RSI)

RSI通过初始化到随机参考动作状态,为模拟人物提供丰富的初始状态分布

下图是一组对比,利用RSI和没有RSI的后空翻训练,没有RSI技术,模拟人物总是处于固定动作的初始状态,人物并非学习后空翻,只是做后跳的假动作。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

对比训练中没有利用RSI或ET的策略

RSI或ET对于学习更具动态的动作十分重要

左图 RSI+ET

中图 没有加入RSI技术

右图 没有加入ET技术

提前终止(ET)

提前终止在强化学习中很常见,经常用来提高模拟效率。一旦人物卡在某个无法做到完美动作的状态,那么这一节实验便可提前终止,不需再把注定失败的动作完成。接下来让我们来看看提前终止实际上会对结果有什么重要影响。仍然以后空翻为例,早期的训练中,策略十分简陋,人物大部分时间都会失败跌倒,人物跌倒后很难恢复到状态。因此那些首次展示的样本,只会是人物徒劳地在地上挣扎的动作。这类似于其他方法中遇到的类平衡性问题,比如监督学习。可以利用尽快终止人物做无用功的状态(比如跌倒)来解决这种问题。与RSI结合,ET会确保大部分包含样本的数据集无限接近参考轨迹。不用ET技术,人物将永远都无法成功完成空翻,只会一次又一次地跌倒,试图在平地上模拟动作。

更多的结果

总的来说,研究者为类人提供不同的参考动作,让其学习了超过24种技巧。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

类人受训模仿丰富的技巧

除了动态捕捉视频,类人也被训练完成一些额外的任务,比如踢向随机位置的目标,或是向目标投球。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

朝随机位置的目标踢腿或投球的策略

研究者也训练Atlas模拟机器人模仿真人动作捕捉视频。尽管Atlas有着非同寻常的形态,但仍然能够重现需要的动作。优势是不仅可以模仿参考动作,还可以不受混乱的环境干扰。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

训练Atlas完成旋风踢和后空翻,不受环境干扰

不过如果不使用动作捕捉视频要怎样做?假设我们想要模仿霸王龙(T-Rex),由于许多原因,很难得到霸王龙的动作捕捉视频。所以作为替代,可以让艺术家手工制作关键帧,然后开发出模仿这些关键帧的训练策略。

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

训练模拟霸王龙模仿艺术家制作的关键帧

不光是霸王龙可以模拟,狮子也行:

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

模拟狮子

参考动作由Ziva Dynamics提供

当然,龙也可以模拟:

 

如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

 

用418D状态空间和94D动作空间模拟龙

方法虽简单,效果却相当好。通过最小化轨迹的错误,可以为各种各样的人物和技巧提供训练策略。这种方法能够有助于现实世界的模拟人物和机器人获得更具动态的动作技能。对于动物和混乱环境那种具有挑战性的动作捕捉来说,从视频这样普遍的来源中模仿动作去探索,的确是令人印象深刻的方法。

本文转自ATYUN人工智能媒体平台,原文链接:如何使虚拟特技人模仿的动作流畅自然?Berkeley实验室利用RSI结合ET技术另辟蹊径

更多推荐

自然语言处理:从基础到RNN和LSTM(下)

OpenAI研究报告:负责任的AI开发需要安全方面的合作

相机对准外文,谷歌翻译将自动检测语言并即时翻译

加州大学开发AI系统SpoilerNet,可预先识别剧透信息

欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com
欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于计算机专业的学生而言,参加各类比赛能够带来多方面的益处,具体包括但不限于以下几点: 技能提升: 参与比赛促使学生深入学习和掌握计算机领域的专业知识与技能,如编程语言、算法设计、软件工程、网络安全等。 比赛通常涉及实际问题的解决,有助于将理论知识应用于实践中,增强问题解决能力。 实践经验: 大多数比赛都要求参赛者设计并实现解决方案,这提供了宝贵的动手操作机会,有助于积累项目经验。 实践经验对于计算机专业的学生尤为重要,因为雇主往往更青睐有实际项目背景的候选人。 团队合作: 许多比赛鼓励团队协作,这有助于培养学生的团队精神、沟通技巧和领导能力。 团队合作还能促进学生之间的知识共享和思维碰撞,有助于形成更全面的解决方案。 职业发展: 获奖经历可以显著增强简历的吸引力,为求职或继续深造提供有力支持。 某些比赛可能直接与企业合作,提供实习、工作机会或奖学金,为学生的职业生涯打开更多门路。 网络拓展: 比赛是结识同行业人才的好机会,可以帮助学生建立行业联系,这对于未来的职业发展非常重要。 奖金与荣誉: 许多比赛提供奖金或奖品,这不仅能给予学生经济上的奖励,还能增强其成就感和自信心。 荣誉证书或奖状可以证明学生的成就,对个人品牌建设有积极作用。 创新与研究: 参加比赛可以激发学生的创新思维,推动科研项目的开展,有时甚至能促成学术论文的发表。 个人成长: 在准备和参加比赛的过程中,学生将面临压力与挑战,这有助于培养良好的心理素质和抗压能力。 自我挑战和克服困难的经历对个人成长有着深远的影响。 综上所述,参加计算机领域的比赛对于学生来说是一个全面发展的平台,不仅可以提升专业技能,还能增强团队协作、沟通、解决问题的能力,并为未来的职业生涯奠定坚实的基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值