Memories are One-to-Many Mapping Alleviators in Talking Face Generation

论文：paper

---

论文笔记：

当前模型缺陷

• AudioDriven具有一对多的映射，而之前的工作所训练的网络。都是将其处理为1对1的映射，这造成了生成结果质量不足够好的问题
• 采用两阶段的方式训练网络可以很好的消弱Speech2Driven固有的一对多性质在网络训练过程中所带来的影响，但是用两阶段的训练方式，获取中间表征的过程中会损失一些特征信息。这两阶段分别为1.an audio-to-expression 2.neural-rendering
• 在audio2expression过程中会损失一些高级的·语义信息如说话者的习惯和神情 在neural-rendering过程中则会损失说话者一些细粒度的信息如皱纹

论文创新点

• implicit memory： 用于audio2expression阶段，memory的构建是由网络参数学习出来的，采用自注意力机制，从memory中获取所需要的高级语义信息对自身进行填充，弥补两阶段训练过程中带来的高级语义信息的损失。
• explicit memory 用于neural-rendering过程，memory的构建方式是认为选择数据构建而来的，同样采用注意力机制。从memory过程之获取所需的细粒度信息对自身进行填充，弥补两阶段训练过程所带来的人物唇部/光影等细粒度信息的损失。