论文阅读（三）：Text2Sign: Towards Sign Language Production using Neural Machine Translation and GAN-2

Abstract

我们提出了一种新的方法来自动手语生产使用最先进的神经机器翻译(NMT)和图像生成技术。我们的系统能够从口语句子中生成手语视频。与当前依赖于大量注释数据的方法相反，我们的方法需要最少的注释和框架级别的注释来进行培训。我们通过将任务分解为专门的子流程来实现这一点
我们首先利用编译码器网络将口语句子翻译成符号注释序列。然后找到注释和骨骼序列之间的数据映射。我们使用生成的姿态信息来调节生成模型，生成手语视频序列。

Related work

Conditional Image Generation:

semantic labels ->images use CNN [4]
image tags/feature embeddings ->images use PixelCNN,conditioned on a vector[28]
RNN
they all relay on rich semantic and spatially information

1.GAN
conditional GAN
DCGAN conditional GAN+constraints architecture （e.g 带步长卷积替换确定性空间池化）
the extending of DCGAN positional information+text description

2.VAEs
conditonal VAE

3.conbining GANs and VAEs
4. pose conditioned image generation:
input a image of people in arbitrar