读DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills

最新推荐文章于 2024-08-10 07:46:53 发布
最新推荐文章于 2024-08-10 07:46:53 发布
阅读量2.6k 收藏 7
点赞数 6
分类专栏： Reinforcement Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ohtuzimao/article/details/79916651
版权
本文介绍了DeepMimic算法，该算法通过深度强化学习让代理在完成任务的同时，其动作尽可能接近真实的参考动作。算法输入包括角色模型、参考动作和任务奖励函数。状态包括角色的物理描述和动作进度，行动是关节目标角度，奖励由动作模仿和任务完成两部分组成。训练使用PPO算法，网络输入包括状态、目标和高度图信息。文中还探讨了参考状态初始化（RSI）、早期终止（ET）技巧以及多技能融合方法。
摘要由CSDN通过智能技术生成

总的来说这篇文章的目的是训练出一个Agent在能够完成所需要的目标前提下，它的动作更贴近真实（也就是提供的参考动作）。
整个DeepMimic所需要的input分为三部分：一个被称为Character的Agent模型；想要Agent学习的参考动作（reference motion）；想要Agent完成的任务（task）所定义的reward function。训练之后会得到一个可以控制Agent同时满足与参考动作相似且可以完成任务的控制器（controller）。DeepMimic的物理环境用的是（Bullet. 2015. Bullet Physics Library. (2015). http://bulletphysics.org.）


算法部分来说既然是RL，就少不了三个重要组成部分State，Action，Reward:

  • State：对于Character的各种描述，包括身体各部分的位置，转动角度，角速度等等，坐标系的原点是Character的盆骨（奇妙的说法），x轴方向是脸的朝向；同时还加了一个变量来描述一个motion的进度（例如后空翻动作开始时为0，翻完了结束了为1）。
  • Action：每个关节所需要转到的方向（目标角度），采样频率为30Hz，之后将角度输入到PD controller（Jie Tan, Karen Liu, and Greg Turk. 2011. Stable Proportional-Derivative Controllers.IEEE Comput. Graph. Appl. 31, 4 (2011), 34–44.）
最低0.47元/天 解锁文章
OhTuzimao
关注
专栏目录
DeepMimic-动作生成算法
qq_36412570的博客
09-01 844
DeepMimic 备注: https://blog.csdn.net/weixin_41888257/article/details/104513891 来源: SigGraph2018 研究方向: 动作生成 这篇论文提出了：通过结合强化学习，利用motion capture数据, 使动画角色可以模仿数据当中的运动（包括一些高动态的运动，比如后空翻，还有一些跟接触类的运动，比如爬行）的同时，还可以实现用户定义的一些任务。同时，该论文还实现了多种技能的，包括：1）Multi-Clip reward: 使角色
Progressive Mimic Learning：Train Lightweight CNN Models
09-28
CNN轻量化的新工作
DeepMimic：基于深度强化学习的物理角色技能模仿教程
最新发布
gitblog_00740的博客
08-10 278
DeepMimic：基于深度强化学习的物理角色技能模仿教程 DeepMimicMotion imitation with deep reinforcement learning.项目地址:https://gitcode.com/gh_mirrors/de/DeepMimic 项目介绍 DeepMimic 是一个由 Xue Bin Peng 及其团队开发的开源项目，它展示了如何通过深度强化学习（...
读论文 DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills 笔记
weixin_41888257的博客
02-26 4344
使用深度强化学习让机器人在仿真环境下学习各种高难度动作 运动控制问题已经成为强化学习的标准基准，深度强化学习方法被证明适用于包括操纵和移动的多种任务。但是，使用深度强化学习训练的智能体通常行为不太自然，会出现抖动、步伐不对称、四肢动作过多等现象。而最近 BAIR 实验室将模仿真实动作片段与强化学习结合，令智能体能从参考动作片段中学习流畅和高难度的动作。 2级标题 ...
paper4-DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills
weixin_45650561的博客
09-15 283
DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills1、文章理解2、收获3、总结 1、文章理解 2、收获 3、总结
Paper-8 泛读 DeepMimic (2018 ACL)
Nemo的博客
06-17 618
具体介绍了DeepMimic，比较经典的Paper，主要是Imitation Objective与Task Objective结合的Reward，建模成RL问题。
论文阅读：Example-Guided Physically Based Modal Sound Synthesis
TechnetiumMan的博客
07-13 142
从物体的三维模型合成其振动声音的一种方法，利用同样材料物体的一个真实声音样本，得到材料音频特征，泛化到同样材料多种形状物体的声音合成。
【CVPR2021】TediGAN: Text-Guided Diverse Face Image Generation and Manipulation
qq_26136211的博客
05-15 1473
TediGAN: Text-Guided Diverse Face Image Generation and Manipulation论文阅读 github代码 创新点： 针对人脸的图片生成和修改。 模型由styleGAN inversion（根据预训练的StyleGAN将图片映射到一个latent space）、visual-linguistic similarity learning（将文本和图片映射到common embedding space来计算相似度）和instance-level optim
强化学习与自动驾驶-Deep Reinforcement Learning for Autonomous Driving: A Survey
weixin_44230823的博客
04-22 2492
最近一直在看用cv的方法进行轨迹预测，大老板说也许可以用强化学习来做，于是读了21年的 “Deep Reinforcement Learning for Autonomous Driving: A Survey” 这篇文章。接下来把我的理解展现并分享给大家，作为我之后工作的一个可能的基础，也希望能帮助到做自动驾驶的童鞋们~ 原文链接：https://ieeexplore.ieee.org/document/9351818 监督学习在自动驾驶研究中不适用 机器学习分为监督学习、非监督学习以及强化学习（RL）
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences论文笔记
weixin_42812109的博客
07-29 1496
Patch2Pix: Epipolar-Guided Pixel-Level Correspondences 一.问题 1.要解决什么问题？ （1）用于视觉定位的经典匹配管道通常包括三个步骤：(i)局部特征检测和描述、(ii)特征匹配和(iii)离群值拒绝。最近出现的correspondence网络虽然在单个网络内执行这些步骤，但由于内存瓶颈，匹配分辨率较低。 （2）传统方法容易受到极端的光照变化，运动模糊和重复和纹理弱的场景的影响。因此，最近的研究建议使用神经网络检测和描述局部特征，基于学习的特征描述子在
Tutorial: Deep Reinforcement Learning
08-14
David Silver, Google DeepMind，深度强化学习的教程ppt
金融股票深度学习论文整理
07-06
具体论文名列表： A deep learning framework for financial time series using stacked autoencoders and longshort term memory.pdf Big_Data_Deep_Learning_for_financial_sentiment_ana.pdf Deep Direct Reinforcement Learning for Financial Signal Representation and Trading.pdf Deep Leaming for Stock Market Prediction Using Technical Indicators and Financial.pdf Deep learning for finance deep portfolios.pdf Deep Learning for Multivariate Financial Time Series.pdf Deep Learning for Stock Prediction Using Numerical and Textual Information.pdf Deep Learning in Finance.pdf Deep Learning Networks for Stock Market Analysis and Prediction.pdf Deep Learning Stock Volatility with Google Domestic Trends.pdf deep stock representation learning from candlestick charts to investment decisions.pdf Financial Analysis Stock Market Prediction Using Deep Learning Algorithms.pdf Knowledge-Driven Stock Trend Prediction and Explanation via Temporal Convolutional Network.pdf Leveraging Financial News for Stock Trend Prediction with Attention-Based Recurrent Neural Network.pdf list.txt Machine Learning Techniques for Stock Prediction.pdf Stock Price Prediction Using Machine Learning and Deep Learning Frameworks.pdf 变步长BLSTM集成学习股票预测.pdf 论文阅读笔记Deep learning for event-driven stock prediction.pdf
Hands-On_Reinforcement_Learning_with_Python
08-13
Hands On Reinforcement Learning with Python epub版本
DiffusionCLIP: Text-Guided Diffusion Models for Robust Image Manipulation
沉迷单车的追风少年
05-28 2178
Diffusion Models专栏文章汇总：入门与实战 前言：之前带大家读过《2021年度最火Diffusion Models：用于图像编辑和高质量图像生成的GLIDE》，最新的CVPR 2022上发表了对标的新工作，我们一起来品读一下这篇论文。 目录 Diffusion models图像编辑方向论文汇总 创新点一：CLIP loss约束生成 灵感来源：classifier 整体流程 global target loss local directional loss Identi.
伯克利提出DeepMimic：使用强化学习练就18般武艺
深度学习世界
04-11 668
选自BAIR Blog作者：Xue Bin (Jason) Peng机器之心编译运动控制问题已经成为强化学习的标准基准，深度强化学习方法被证明适用于包括操纵和移动的多种任务。但是，使用深度强化学习训练的智能体通常行为不太自然，会出现抖动、步伐不对称、四肢动作过多等现象。而最近 BAIR 实验室将模仿真实动作片段与强化学习结合，令智能体能从参考动作片段中学习流畅和高难度的动作。我们从计算机绘图中得到
论文阅读 Self-Mimic Learning for Small-scale Pedestrian Detection
weixin_45935290的博客
09-14 316
检测小尺度行人是行人检测中最具挑战性的问题之一。由于缺乏视觉细节，小尺度行人的 representations 往往难以与背景杂乱物区分开。本文深入分析了小尺度行人检测问题，揭示了小尺度行人 representations 较弱是分类器漏检的主要原因。为解决这一问题，我们提出了一种新颖的自我模仿学习（Self-Mimic Learning，简称SML）方法，以提高小尺度行人的检测性能。我们通过模仿大尺度行人的丰富 representations 来增强小尺度行人的 representations。
强化学习练就18般武艺！伯克利开源DeepMimic
weixin_33896069的博客
10-19 239
还记得今年4月伯克利BAIR实验室发布的那个会“18般武艺”的DeepMimic模型吗？他们使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，走路、跑步就不用说了，还包括翻跟斗、侧翻跳、投球、高踢腿等等高能动作。 体会一下： 训练每一种动作都需要动作捕捉和深度强化学习，而BAIR的研究者创造了一个全新的系统，教会agent完成复...
ubuntu18中deepmimic的环境搭建问题
qq_45288566的博客
03-30 1589
ubuntu18中deepmimic的环境搭建问题ubuntu双系统安装ubuntu桌面美化deepin-wine环境搭建python环境搭建安装驱动deepmimic配置安装依赖bulletEigenfreeglutglewSWIGpython 3MPIpyopenglTensorflowtensorflow所在文件位置：DeepMimicCore总结 ubuntu双系统安装 ubuntu安装采...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值