MaskGAN（2018-ICLR）

最新推荐文章于 2023-05-27 14:11:27 发布

我黑切呢**

最新推荐文章于 2023-05-27 14:11:27 发布

阅读量576

点赞数

分类专栏：笔记文章标签：自然语言处理

本文链接：https://blog.csdn.net/qq_43390809/article/details/108580701

版权

笔记专栏收录该内容

74 篇文章 1 订阅

订阅专栏

在这里插入图片描述

MaskGAN

结构：Seq2Seq

在这里插入图片描述

Generator

对于离散序列 $x$ =（ $x_1$ ，····， $x_T$ ），生成一个长度相同的二进制掩码 $m$ =（ $m_1$ ，···， $m_T$ ），其中每个 $m_T$ $\in$ { $0$ , $1$ }，选择将保留哪些标记。如果掩码为 $0$ ，则时间 $t$ ， $x_t$ 处的令牌被替换为特殊掩码令牌，如果掩码为 $1$ ，则保持不变。
编码器读取mask序列，将其表示为 $m$ （ $x$ ），其中掩码是按元素应用的。编码器在解码期间为MaskGAN提供对未来上下文的访问。解码器的条件是mask文本 $m$ （ $x$ ）以及它在此之前填充的内容。生成器将序列上的分布分解为有序的条件序列:
在这里插入图片描述
Discriminator具有与Generator相同的体系结构，但输出是每个时间点的标量概率，而不是词汇表大小的分布。

必须给鉴别器一个真实的上下文，否则，该算法就有一个临界失效模式。例如，在没有上下文的情况下，如果给鉴别器“the director director guided the series”的填充序列，那么它将无法可靠地将director—— director二元组识别为假文本，尽管这个二元组可能从未出现在训练语料库中（除了错误的打字错误）。原因是不清楚director的两个出现中哪一个是假的；theassociatedirector guided the series ，或者the directorexpertlyguided the series都是潜在的有效序列。在没有上下文的情况下，鉴别器赋予两个词相同的概率。当然，对于Generator这是一个不准确的学习信号，这将不会正确地惩罚产生这些二元组。为了防止这种情况的发生，在给定mask序列 $m$ （ $x$ ）的真实上下文情况下。鉴别器 $D_φ$ 计算每个token: $x$ $^-$ $_t$ 为真实值的概率。