论文阅读（5）FLAME: Free-form Language-based Motion Synthesis & Editing

Motivation

• 从行为标签合成运动缺乏描述力，这限制了运动合成的多样性和可控性
• 现有方法缺乏灵活的条件生成能力

Contribution

• 第一个将扩散模型应用到运动数据，为处理动作的时间性和可变长度设计新架构（Transformer decoder-based）
• 对于相同的文本，FLAME 生成的动作更多样
• FLAME 可以迁移到动作预测和动作填充的任务上，无需微调

Method

• 输入：时间步 token、运动长度 token、语言 token、动作 token。将预训练大语言模型提取的特征作为交叉注意力进行条件控制

• 输出：预测下一个时间步的噪声均值和方差，输出一个 $2\text{-}{D}_{mo}$ 维度的向量表示均值和方差

• 为运动数据设计模型框架：由于动作具备时空属性，且不同动作的长度不同，因此无法用基于U-Net的框架处理统一所有数据，改用基于 transformer 的框架处理数据。

• 损失函数：参考 IDDPM

$$L_{hybrid}=L_{simple}+\lambda \cdot L_{vlb}$$

​ 其中，$L_{simple}={\mathbb{E}}_{t,M_0,{ϵ}_t}[\Vert {ϵ}_t-{ϵ}_{\theta }(M_t(M_0,{ϵ}_t),c,t)\Vert ]$ 表示对去噪过程中的每一步噪声分布的学习
$$\begin{array}{rl}{L}_{vlb}& :=L_0+L_1+\cdots +L_{T-1}+L_T\\ L_0& :=-\text{log}{p}_{\theta }(x_0|x_1)\\ L_{t-1}& :=D_{KL}(q(x_{t-1}|x_t,x_0)||p_{\theta }(x_{t-1}|x_t))\\ L_T& :=D_{KL}(q(x_T|x_0)||p(x_T))\end{array}$$
​ 可见 $L_t$ 表示每一步的预测噪声与实际噪声的分布

• 动作合成：Classifier-Free Guidance
  $${\widehat{ϵ}}_{\theta }(M_t|c)={ϵ}_{\theta }(M_t|\varnothing )+s\cdot ({ϵ}_{\theta }(M_t|c)-{ϵ}_{\theta }(M_t|\varnothing ))$$

• 动作编辑：先扩散后条件去噪

1. $M_0^{ref}$ 加噪得到每个时间步 $t$ 的扩散数据 $M_t^{ref}$

2. 使用训练好的模型对完全扩散的数据 $M_T^{ref}$ 进行逐步去噪。去噪过程中，不需要编辑的部分用真实数据替代
   $$M_{t-1}^{edit}=(1-m)\odot M_{t-1}^{pred}+m\odot M_{t-1}^{ref}$$
   其中，$M_{t-1}^{pred}\sim p_{\theta }(M_{t-1}|M_t^{edit},c^{edit})$ 是根据新条件 $c^{edit}$ 生成的去噪样本。

Evaluation Metrics

• APE(Average Position Error)：计算每个关节在所有帧上的平均位置误差，然后对所有关节求平均，得到整个动作序列的平均位置误差。
  $$APE[j]=\frac{1}{NF}\sum _{n\in N}\sum _{f\in F}{\Vert M_f[j]-{\hat{M}}_f[j]\Vert }_2$$

• AVE(Average Variance Error)：计算每个关节在真实动作序列和生成动作序列中位置分布的标准差差异，然后对所有关节求平均，得到整个动作序列的平均方差误差。
  $$\begin{gathered} AVE[j]=\frac{1}{N}\sum _{n\in N}\Vert \sigma [j]-\hat{\sigma }[j]\Vert \\ \sigma [j]=\frac{1}{F-1}\sum _{f\in F}(M_f[j]-{\tilde{M}}_f[j]{)}^2\in {\mathbb{R}}^3 \end{gathered}$$

• Multimodality：计算由同一文本提示生成的不同动作样本之间的平均差异，衡量由单个文本描述生成的动作样本的多样性。
  $$\text{Multimodality}=\frac{1}{C\times S_l}\sum _{c=1}^S\sum _{i=1}^{S_l}\Vert v_{c,i}-v_{c,i}^{\prime }\Vert$$

Ablation Study

从消融实验可以看出，交叉注意力和冻结 PLM 对结果的性能提高帮助最大。

为什么冻结 PLM 的效果更好？我猜测是 PLM 的表达能力已经很不错了，再去训练反而会破坏它的表达能力。

Gains

1. 图像生成与动作生成区别：

   • 图像只有空间信息，没有时间信息；而动作序列同时具备空间-时间信息
   • 运动的长度可以从短程运动到长程运动不等，模型需要能处理任意长度的运动（个人理解：同类的运动表现的时长可能不一样，模型需要知晓如何将这些动作序列进行对齐）

2. 交叉注意力用作编辑：

   将提示词通过预训练语言大模型得到的语义嵌入，再通过 cross-attention 辅助语义编辑的方法似乎很常见。我在阅读图片编辑 SmartEdit 和三维部署 LayoutGPT 时都有看到类似的做法。当前动作生成的精度还不是很高，或许可以通过这种约束方式，将各个肢体都限定在某个范围内来提高精度？

SmartEdit architecture

LayoutGPT architecture