Language2Pose: Natural Language Grounded Pose Forecasting # 论文阅读

URL

https://arxiv.org/pdf/1907.01108

TD;DR

19 年 7 月 cmu 的文章，提出一种基于 natural language 生成 3D 动作序列的方法。通过一个简单的 CNN 模型应该就可以实现

Model & Method

首先定义一下任务：

• 输入：用户的自然语言，应该是通过词袋模型转换成 word vector
• 输出：shape = [t, j, 3] 的 tensor，t 表示时间维度，j 表示身体的关节点个数，3 表示 3d 关键点的维度。
  训练过程是这样的：用两个 encoder 分别把 pose 和自然语言模型转换到 latent space，然后在 latent space 层面尝试完全对齐两者，这样就可以把对齐后的 latent 经过 pose decoder 还原到 pose 域内。

Dataset & Results

使用的训练数据集是一个开源的。

看起来训练时候文本的分布多样性还是可以的

Thought

• 思路有点像 GAN
• 时间比较老了，但是值得参考，可以用来快速复现 + 攒一个 ppl