SFV: Reinforcement Learning of Physical Skills from Videos文章代码付现及问题整理

一.原文

1.链接：https://xbpeng.github.io/projects/SFV/index.html

2.效果展示

二.如何让仿真机器人做到和原始视频中的动作一致

1.流程

整个的思路是：原始动作输入视频-->提取特征(人体姿态关节点数据)-->映射到仿真机器人

1.1方式一：video_to_bvh --> bvh_to_deepmimic

1.1.1：video_to_bvh

效果

HMR(Project page for End-to-end Recovery of Human Shape and Pose)链接：https://github.com/akanazawa/hmr

 

1.1.2：bvh_to_deepmimic

可以参考BvhToDeepMimic(Convert .bvh files (Biovision Hierarchy) to DeepMimic format.)链接：https://github.com/BartMoyaers/BvhToDeepMimic

1.2方式二：video_to_smpl --> smpl_to_deepmimic

1.2.1：video_to_smpl

效果

1.2.2：smpl_to_deepmimic

可以参考HMR to DeepMimic链接：https://github.com/GillesBareilles/MVA_ORCV_Presentation

三.替换成自己的数据

1：video_to_bvh方式

2：video_to_smpl方式

四.问题

1.演示：

2.可能的原因

在做映射到仿真机器人身上时遇到的一个最大问题就是：整个的姿态是可以较好的映射，但是根位置的映射以及需要一些手动修补，以获得根变换位置缩放和高度偏移正确。然而大部分的做法是：要不直接用腰关节(或者是臀关节)来当做根节点的位置，要不就是用腰关节(或者是臀关节)减去脚踝关节的差值当做根节点的位置