Attribute Alignment: Controlling Text Generation from Pre-trained Language Models：利用属性标签指导属性文本生成

主要工作

在本文中，我们提出了属性对齐，将属性表示注入到预先训练的无条件 LM 中，而不改变 LM 参数。然而，由于在大规模预训练期间属性信号并未使用 LM 进行训练（Johnson et al., 2016；Keskar et al., 2019），因此我们引入了一个对齐函数来将属性表示桥接到 LM，以便它可以解释属性表示中的权重。

简单来说，先使用LM对属性建模，然后使用属性对齐将其融合指导文本生成

带对齐函数的属性表示（A）

这段论文描述了一种属性对齐方法，它通过先运行预训练的语言模型来获取属性的隐藏状态。接着使用一个对齐函数（记为$F$），该函数实现为带有非线性连接的多层感知机（MLP），以获得对齐的属性表示。具体来说，在Transformer架构中，隐藏状态以键值对的形式表示，属性表示对齐后的键值对由下式给出：

$$K_t^{\prime },V_t^{\prime }=\left[F(K_a);K_t\right],\left[F(V_a);V_t\right]$$

其中，$K_a,V_a$ 来自于属性短语 $x_a$ 在语言模型 $LM$ 中的表示，而 $K_t,V_t$ 来自于在生成的句子中直到时间步 $t$ 的标记在 $LM$ 中的表示。然后，我们可以根据原始Transformer模型计算注意力和输出。

在训练期间，预训练的语言模型（LM）被冻结，并且在带有属性$a$的数据集上计算语言建模损失，以训练对齐函数$\mathcal{F}$。因此，损失函数如下：

$${\mathcal{L}}_A=-\sum _{t=0}^l\log p(x_t|a,x_{:t})$$

在这里，我们仅更新对齐函数的参数，使用梯度来进行更新。图1展示了模型架构。在推断时，所有从提示开始的tokens都会注意到通过训练后的对齐函数转换的目标属性表示，除此之外还有标准的自注意力来生成下一个token。直观上，这可以被认为是一个条件性的语言模型，因为所有的tokens现在都可以注意到对齐的属性表示。

如何消除不相关属性的问题。

学习到的对齐函数在预训练的语言模型（LM）中桥接了属性表示。然而，在训练数据中我们并没有分离不同的特征。例如，如果我们在情感控制的电影评论数据集上训练对齐函数，那么$\mathcal{F}$在对齐情感属性表示后，会同时编码情感和电影评论风格。因此，目标属性表示可能会变得模糊。为了解决这个问题，我们提出了两种分离方法。

与语料库表示一同进行属性表示消歧的方法（AC）

我们提议在训练期间添加一个语料库域表示$d$来与属性表示$a$一同进行消歧。对于包含多个属性（如正面和负面情绪）的训练语料库（如电影评论），$d$在所有训练数据中使用，而$a$只在标有目标属性的训练数据子集中使用。类似于Liu和Lapata（2018）的工作，这可以鼓励模型将目标属性和其他特征分别编码成不同的表示。具体来说，键值对可以表示为：

$$K_t^{\prime \prime },V_t^{\prime \prime }=\left[F(K_a);F_d(K_d);K_t\right],\left[F(V_a);F_d(V_d);V_t\right]$$

其中，$F_d$是用于语料库域表示的独立对齐函数，而$K_d,V_d$来自于语料库域名称的LM编码。与属性相比，语料库域名称可能更抽象，因此我们对$d$使用特殊的标记（如<movie review>）和原始文本中的属性（如athlete）。在推断时，我们想要生成给定任何（包括域外）提示的连贯句子。因此，我们在令tokens注意到属性表示的同时忽略语料库表示，此外还有正常的自注意力，如方程1所示。

贝叶斯消歧（ACB）

为了进一步消除不同特征之间的混淆，我们使用贝叶斯法则来分离域相关分布与属性相关分布。根据贝叶斯定理（见附录A.1），我们有

$$p(x|a)\sim \frac{p(x|a,d)\cdot p(x,a)}{p(x|d)\cdot p(a|x,d)}$$

其中，$p(x|a,d)$是在属性和语料库域两者条件下生成句子的概率分布，而$p(x|d)$是仅在语料库域条件下生成句子的概率分布。在训练期间，我们假设语料库中不同属性（例如电影评论中的不同情绪）的分布接近于均匀分布。因此，我们认为$p(a|x,d)$对于来自语料库$d$的给定句子$x$是一个常数。同样，我们认为$p(x,a)$是一个来自冻结的预训练LM，并且在任何句子上都有大致相当的属性分布，以逼近$p(a|x)$，类似于Li等人（2016）的做法。因此，我们通过消除其余部分来近似这个等式，其中的消除并不直接影响特定训练句子的目标条件分布。我们可以近似地在对数空间中计算所需的条件概率：

$$\log p(x|a)\sim \log p(x|a,d)-\log p(x|d)$$

在训练期间，我们通过在属性和域上条件化的LM上运行，训练属性和域对齐函数（$\mathcal{F},{\mathcal{F}}_d$），以及仅在域上条件化的LM上运行（$p(x|a)$）。具体地，损失函数是：

$${\mathcal{L}}_{ACB}=-\sum _{t=0}^l\left[\log p(x_t|a,d,x_{:t})+\log p(x_t|d,x_{:t})\right]$$

类似于其他提出的方法，这个损失用于更新$\mathcal{F}$和${\mathcal{F}}_d$。在推断时，根据Li等人（2016）的建议，我们使用一个超参数$\lambda$来平衡两个分布。因此，我们从中采样tokens的分布是：

$$\log p(x|a)\sim \log p(x|a,d)-\lambda \log p(x|d)$$