强化学习练就18般武艺！伯克利开源DeepMimic-CSDN博客

还记得今年4月伯克利BAIR实验室发布的那个会“18般武艺”的DeepMimic模型吗？他们使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，走路、跑步就不用说了，还包括翻跟斗、侧翻跳、投球、高踢腿等等高能动作。

体会一下：

e08aa7567527522ff6b8c89b03cacf416291813e

训练每一种动作都需要动作捕捉和深度强化学习，而BAIR的研究者创造了一个全新的系统，教会agent完成复杂、逼真的动作任务。

作者Xue Bin Peng等人将这个系统命名为DeepMimic，比已有工作更进一步的是，他们的目标是在训练一个agent完成特定任务的前提下，使它的动作更贴近真实。他们的论文发表在SIGGRAPH 2018。

47152464419aae3cac5d72da5f634ab472d0b833

除了人形机器人外，他们还训练了Atlas机器人、暴龙、龙等形态的agent。

72d3b3d5c7b1bfab1b54526115b492bbd2573dbf

Atlas机器人

整个DeepMimic所需要的input分为三部分：一个被称为Character的Agent模型；希望Agent学习的参考动作（reference motion）；希望Agent完成的任务（task）所定义的reward function。

训练之后会得到一个可以控制Agent同时满足与参考动作相似且可以完成任务的控制器。

c1da0bd7e0290033423269c44e96e5dad3b0828a

四种翻滚动作

现在，DeepMimic的代码、数据和训练策略已经全部开源，感兴趣的读者不妨试试拿来训练自己的“功夫小子”。

开源代码

SIGGRAPH 2018论文：“DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills”的代码。这个框架使用强化学习来训练一个模拟人形智能体来模仿来自mocap数据的各种运动技能。

项目页面：

https://xbpeng.github.io/projects/DeepMimic/index.html

9844b3dd5ca28eb8e33e8ed00c6d66441565a87d

C++:

●  Bullet 2.87 (https://github.com/bulletphysics/bullet3/releases)
●  Eigen (http://www.eigen.tuxfamily.org/index.php?title=Main_Page)
●  OpenGL >= 3.2
●  freeglut (http://freeglut.sourceforge.net/)
●  glew (http://glew.sourceforge.net/)

Python:

●  PyOpenGL (http://pyopengl.sourceforge.net/)
●  Tensorflow (https://www.tensorflow.org/)
●  MPI4Py (https://mpi4py.readthedocs.io/en/stable/install.html)

Misc:

●  SWIG (http://www.swig.org/)
●  MPI
●  Windows: https://docs.microsoft.com/en-us/message-passing-interface/microsoft-mpi
●  Linux: sudo apt install libopenmpi-dev

Build

模拟环境是用C++编写的，python包装器使用SWIG构建。要安装python依赖项，请运行

pip install -r requirements.txt

请注意，必须在MPI4Py之前安装MPI。

Windows

wrapper使用DeepMimicCore.sln构建。

1. 从配置管理器中选择x64配置。

2. 在DeepMimicCore的项目属性下，修改要包含的其他包含目录

●  Bullet源目录
●  Eigen包括目录
●  python包含目录

3. 修改要指定的其他库目录

● Bullet lib目录
● python lib目录

使用Release_Swig配置构建DeepMimicCore项目，这应该在DeepMimicCore/. 中生成DeepMimicCore.py。

Linux

1. 通过指定以下内容修改DeepMimicCore中的Makefile，

●  EIGEN_DIR：Eigen包含目录
●  BULLET_INC_DIR：Bullet源目录
●  PYTHON_INC：python包含目录
●  PYTHON_LIB：python lib目录

2. 建立wrapper，

make python

这应该在DeepMimicCore/中生成DeepMimicCore.py

如何使用

一旦构建了python wrapper，就可以使用Tensorflow完全在python中完成训练。DeepMimic.py运行用于查看模拟的可视化工具。使用mpi_run.py完成训练，它使用MPI在多个进程之间并行训练。

通过指定提供场景配置的参数文件来运行DeepMimic.py。例如，

python DeepMimic.py --arg_file args/run_humanoid3d_spinkick_args.txt

将为“回旋踢”运行一个预训练的policy。同样的,

python DeepMimic.py --arg_file args/kin_char_args.txt

将加载并播放mocap片段。

要训练一个策略（policy），请通过指定参数文件和工作进程数来运行mpi_run.py。例如，

python mpi_run.py --arg_file args/train_humanoid3d_spinkick_args.txt --num_workers 4

将训练一个策略，使用4个workers进行“回旋踢”。作为训练方案，它会定期打印统计数据并将其记录到output/，以及最新策略的.ckpt。通常需要大约6千万个样本来训练一个策略，而训练16个workers需要一天时间。16个workers可能是框架所能支持的最大workers数量。

args中已经为不同的技能提供了许多参数文件。train_ [something] _args.txt文件是为mpi_run.py设置的，用于训练策略，并为DeepMimic.py设置run_ [something] _args.txt文件以运行其中一个预训练策略。要运行自己的策略，请使用run_ [something] _args.txt的文件之一，并指定要使用--model_file运行的策略。确保引用的动作--motion_file对应于策略所训练的动作，否则策略将无法正常运行。

接口

●  右上角的图显示了价值函数的预测
●  单击右键并拖动将平移相机
●  单击左键并拖动将对特定位置处的角色施加力
●  滚轮会放大/缩小
●  按“r”将重置该episode
●  按'l'将重新加载参数文件并重建所有内容
●  按'x'将使用随机的框投向角色
●  按空格将暂停/恢复模拟
●  按’>'将逐步执行模拟

Mocap Data

Mocap clips位于data/motions/中。要播放剪辑，首先修改args/kin_char_args.txt并指定要使用的文件--motion_file，然后运行

python DeepMimic.py --arg_file args/kin_char_args.txt

动作文件遵循JSON格式。“Loop”字段指定运动是否是循环的。“wrap”指定一个循环运动，该循环将在结束时回到起始点，而“none”指定一旦运动结束就会停止的非循环运动。“Frames”列表中的每个向量指定运动中的关键帧。每个框架具有以下格式：

fdfe6032af936273e771f4c4a73b781f268e895e

位置以米为单位指定，球面关节的3D旋转指定为四元数（w，x，y，z），转动关节（例如膝关节和肘关节）的1维旋转用弧度的标量表示。根位置和旋转在世界坐标中，但所有其他关节旋转都在关节的局部坐标中。要使用你自己的动作剪辑，请将其转换为类似格式的JSON文件。

原文发布时间为：2018-09-17

本文作者：肖琴

本文来自云栖社区合作伙伴新智元，了解相关信息可以关注“AI_era”。

原文链接：强化学习练就18般武艺！伯克利开源DeepMimic