DISCO: Disentangled Control for Realistic Human Dance Generation

• NTU&Microsoft CVPR24
• https://github.com/Wangt-CN/DisCo

1. 问题引入

• 提高human motion transfer模型的泛化性；
• 给出$f,g$作为参考图片的前背景，然后给出单个pose $p=p_t$或者pose序列 p = { p 1 , p 2 , ⋯   , p T } p = \{p_1,p_2,\cdots,p_T\} p={p1​,p2​,⋯,pT​}，目标是生成对应的单张图片$I_t$或者视频 V = { I 1 , I 2 , ⋯   , I T } V = \{I_1,I_2,\cdots,I_T\} V={I1​,I2​,⋯,IT​}，生成的结果需要同时和提供的$f,g,p$相符合，并且具有泛化性，以可以生成训练数据之外的场景，并且可以任意组合上面三种条件；

2. methods
   

• 前景的条件控制：模型使用image variation SD来初始化，将cross attn中的text embedding $c_{text}\in {\mathbb{R}}^{l\times d}$换成clip得到的image embedding $c_f\in {\mathbb{R}}^{hw\times d}$，这个embedding是在全局池化层之前的；
• pose和背景的控制通过controlnet完成；
• Human Attribute Pre-training：增强模型的泛化性，通过在预训练，预训练模型去掉了pose controlnet；

3. 实验：

• TikTok dataset数据集训练和测试；