精读A Hierarchical Reinforced Sequence Operation Method for Unsupervised Text Style Transfer

在HRL（强化学习）框架中，提出一种基于序列操作PTO(Point-Then-Operate)：高级agent提出操作位置，低级agent修改句子。用于无监督文本样式的传输。 转换过程被建模为对输入句子的明确修改，这提高了可解释性、内容保存和可控的风格与内容的权衡。

基于策略的训练算法来建立文本风格转换的fluency(a language model reward)、style polarity(a classification confidence reward和auxiliary classification)、content preservation(a reconstruction reward和a self-supervised reconstruction loss)。

基于mask的推理算法将多步序列操作应用于输入句子中，允许单步训练，这样训练更稳定。

the Options Framework: 在该框架中，高级agent学会确定选项，而低级代理学会在给定选项时采取行动。

给定两个非对齐的句子 $s_1$的风格$X_1=\left\{x_1^{(1)},\cdots ,x_1^{(n)}\right\}$，$s_2$的风格$X_2=\left\{x_2^{(1)},\cdots ,x_2^{(m)}\right\}$

无监督文本风格迁移的目标是学习两种条件分布$p(x_{1\to 2}|x_1)$和$p(x_{2\to 1}|x_2)$，它们改变句子的风格，保留与风格无关的内容。该方法通过disentangled representations显式地对内容建模。

本实验方法是通过重构隐式地对内容建模，考虑自然语言文本的离散性，使用序列操作逼近$p(x_{1\to 2}|x_1)$和$p(x_{2\to 1}|x_2)$。$x_{1\to 2}$和 $x_{2\to 1}$ 是转换句，即文本风格转换系统的输出，${\hat{x}}_2$和${\hat{x}}_1$的操作句，其不一定要完全转换。

---

1 HRL中的the Options Framework

$S$:状态空间、$O$:选项空间 、$A$:动作空间，

高级agent学习随机策略 $\mu :S\times O\to [0,1]$，（进行环境观察、产出次级政策、一直持续到终止）

低级agent学习随机策略 ${\pi }_o：S\times A\to [0,1]$ ，条件是选项$o\in O$（进行环境观察、输出动作、一直持续到终止）

每个选项$o\in O$，都有一个有低级随机终止条件${\beta }_o:S\to [0,1]$表示当前选项是否应该终止。

对于上层所做的一个option，包括两个部分，一个是行动策略，一个是终止函数。当终止函数返回0的时候，下一步还会由当前的这个option来控制；当终止函数返回1的时候 ，该option的任务就暂时完成了，控制权就交回给上层策略。

每个片段中，高级agent执行基于$\mu$ 的轨迹$(o_1，\cdot \cdot \cdot ，o_L)$，一旦一个选项$o_t$采用，低阶agent执行一个基于${\pi }_{o_t}$的轨迹$(a_t^1,\cdot \cdot \cdot ,a_t^{l_t})$，$l_t$依赖于$ β_{o_t}$，一个片段的单一轨迹为$(o_1, a^{1_1···，a}{l_1}_1，···，o_L, a^{1_L，···，a}{l_L}_L)$

---

2 指针模块 High-Level Agent: Pointer

高级政策$\mu$ 目的是提出操作位置，将其建模为一个基于注意力的指针网络，并为每个位置分配标准化概率。

Option：给定语句 x = { x 1 , ⋯   , x T } x = \left\{x_1,\cdots,x_T \right\} x={x1​,⋯,xT​}，选项空间： O = { 1 , ⋯   , T } O = \left\{1,\cdots,T \right\} O={1,⋯,T}

T在一个情节中会发生变化，因为操作可能会改变句子的长度。

State：状态用句子表示$h_T$和每个位置表示$h_i$表示，其中 { h 1 , ⋯   , h T } \left\{h_1,\cdots,h_T \right\} {h1​,⋯,hT​}由句子$x$通过bi-LSTM编码器映射而来。

Policy：采用以注意力为基础的政策：一个softmax的过程

$\mu (i|x)=\frac{exp(a(h_T,h_i))}{{\sum }_{t=1}^{T}exp(a(h_T,h_t))}$---------1

$a(\cdot ，\cdot )$为注意评分函数，$i ∈ \left{1, · · · , T \right} $为输入句中的每个位置。

---

3 运算符模块 Low-Level Agent: Operators

低级策略$\pi$ 改变了取样自$\mu$的$i$位置周围的句子。预定义7种操作

Action：

给定句子 x = { x 1 , ⋯   , x T } x = \left\{x_1,\cdots,x_T \right\} x={x1​,⋯,xT​}，低级agent的动作可以分解为两个步骤。

1、操作选择。从表1中选择一个操作模块。

2、词语生成（可选）。如果需要词的话，生成一个单词，如表1所示。

State：

与高级agent相比，低级agent更加专注于本地化的特性。

通过bi-LSTM编码器将$x$映射到 { h 1 , ⋯   , h T } 2 \left\{h_1,\cdots, h_T \right\}^2 {h1​,⋯,hT​}2, 以$h_i$作为状态表示。

Low-level Termination Condition 终止条件：

低层次agent在每个选项中采取一个动作并终止，使训练更容易、更稳定，可以执行多个选项。

这里终止条件是固定的，目的是让训练更稳定。

Policy for Operator Selection 操作选择策略:

对于训练，从表1中统一采样一个运算符模块。

Policy for Word Generation 词生成策略:

对三个操作符进行参数化，生成一个合适的单词来完成操作，

对于每个参数符M，生成$\hat{w}$的概率为$M( \hat{w}|x, i) = softmax_\hat{w}(Wh_i) $-------2，

对于每个M，我们为$s_1\to s_2$和$s_2\to s_1$训练了两组参数。

为了可读性，我们省略了方向下标，并确保它们可以从上下文推断出来;

相反方向的参数表示为${\phi }_1^{\prime }$、${\phi }_2^{\prime }$、${\phi }_3^{\prime }$。

4 基于策略的训练算法

在流畅性、风格、内容保存上建模

对于流利性，使用外部语言模型奖励;

对于风格极性，使用一个外在的分类信任奖励，并加入一个辅助的风格分类任务;

对于内容保存，使用了自我监督的重构损失和内在的重构奖励。

$x_1\to {\hat{x}}_2$运算和${\hat{x}}_2\to x_1$重构的方程

左边：转化 右边：重建

实线：前馈 虚线：反馈或损失

蓝：源风格 红：目标风格 黄：agent

**流畅度建模 **Language Model Reward

设$L{M}_1,L{M}_2$分别表示为$s_1$和$s_2$的语言模型。

给定操作句${\hat{x}}_2$中生成单词$\hat{w}$ 语言模型奖励定义为$R_{lm}={\lambda }_{lm}L{M}_2(\hat{w}|{\hat{x}}_2)$ --------3

$LM_2( \hat{w}|\hat{x}_2) $表示给定$\hat{x}_2$中其他单词的概率为$\hat{w}$，在实验中，通过平均一个forward LSTM-LM和backward LSTM-LM来计算概率。

风格极性建模

Classification Confidence Reward：通过采用分类置信度函数

$R_{conf} = λ_{conf}[p(s_2|\hat{x}_2) − p(s_2|x_1)] $-------4

Auxiliary Task: Style Classification：

在HRL中高级agent面临梯度方差大的问题，为了稳定训练，将指针扩展到一个基于注意力的分类器，即: $p(s_j|x) = softmax_j (W\sum^T_{i=1}µ(i|x)h_i) $

对于$j=1,2$。 设θ表示指针的参数。 $\theta$的辅助分类损失为 $L_{cls}^{\theta }={\sum }_{j=1,2}{E}_{x_j\sim X_j}[-log{p}_{\theta }(s_j|x_j)]$

内容保存建模

Self-Supervised Reconstruction Loss

重构损耗方法：通过自我监督来引导操作模块。 假设第$i^{th}$个位置的单词$w$被删除或用运算符$M$替换。

考虑一个操作M，在第i个位置上操作，根据定义的操作可以找出可能的操作M‘，以及可能的位置i‘。

识别表2中的重构算子$M’$和重构位置$i^{\prime }$。 然后在${\hat{x}}_2$的$i^{\prime }$位置上用$MLE$更新$M^{\prime }$，，用$w$作为黄金输出。 对于有两个$(M^{\prime },i^{\prime })$对，我们统一采样进行训练。 在形式上，重构损失定义为$L_{rec}^{{\varphi }^{\prime }}=-log{M}^{\prime }(w|{\hat{x}}_2,i^{\prime })$

Reconstruction Reward

一对一的处理通常比多对一的处理好。因此，我们引入$Re{p}_{{\Phi }_3}$的重构奖励来鼓励一对一迁移，即:

$R_{rec}=-{\lambda }_{rec}{L}_{rec}^{{\varphi }_3^{\prime }}$

$L_{rec}^{{\varphi }_3^{\prime }}$是$L_{rec}^{{\varphi }^{\prime }}=-log{M}^{\prime }(w|{\hat{x}}_2,i^{\prime })$的重建损失。

它的目的主要是鼓励1对1的映射，防止把很多词都映射到good，bad这类词上。

单选项轨迹训练

只允许高级agent在训练期间每段时间执行一个选项，而将多选项场景留给推理算法。

执行单一选项轨迹有两个动机:

1)执行多选项轨迹不那么容易驾驭和稳定，特别是在风格转换的情况下，这对句子的细微差别非常敏感。

2)自监督重建在多选项轨迹中具有模糊性，即重建的黄金轨迹不确定性。

在高级的agent中，只使用引入的分类任务的奖励，而不使用语言模型的奖励（语言模型的奖励更加局部，会很大地增加奖励的方差）。

在低级的agent中，使用所有的外部奖励和内部奖励。

High-Level Policy Gradients

由于语音模块奖励更局部，增加了估计梯度的方差，只对高级策略使用分类置信奖励。

政策梯度为 ${\nabla }_{\theta }J(\theta )=E_i[R_{conf}\cdot {\nabla }_{\theta }log{\mu }_{\theta }(i|x_1)]$

其中梯度从$R_{conf}$中分离出来。

Low-Level Policy Gradients

所有的外部和内部奖励都用于低水平的政策学习。 具体来说，${\varphi }_{1,2,3}$的奖励为

$R_{1,2}=R_{lm}+R_{conf}$

$R_3=R_{lm}+R_{conf}+R_{rec}$

对于$\varphi =\varphi 1,\varphi 2,\varphi 3$，政策梯度为

KaTeX parse error: Got function '\hat' with no arguments as subscript at position 21: …hi}J(\phi) = E_\̲h̲a̲t̲{w}[R · ∇_{\phi…

Overall Objectives

$\theta$的总体目标是$L_{cls}^{\theta }={\sum }_{j=1,2}{E}_{x_j\sim X_j}[-log{p}_{\theta }(s_j|x_j)]$ 中的分类损失和 ${\nabla }_{\theta }J(\theta )=E_i[R_{conf}\cdot {\nabla }_{\theta }log{\mu }_{\theta }(i|x_1)]$中的策略梯度。

${\varphi }_{1,2,3}$ 的总体目标是$L_{rec}^{{\varphi }^{\prime }}=-log{M}^{\prime }(w|{\hat{x}}_2,i^{\prime })$中的重构损失和KaTeX parse error: Got function '\hat' with no arguments as subscript at position 21: …hi}J(\phi) = E_\̲h̲a̲t̲{w}[R · ∇_{\phi…中的策略梯度。

5 基于mask的推理算法

将单步训练模块应用于多步场景的主要问题是:

1)前一步的操作可能会影响后一步的操作;

2)需要动态地确定轨迹何时应该终止。

利用mask机制来解决这些问题。

基本思想是，给定一个输入语句，高级agent迭代地提出操作位置，以便低级agent进行操作。 在每次迭代中，高级代理可以看到整个句子，但是在策略中隐藏了一些选项(例如，位置)。 轨迹终止条件由一个额外的预先训练的分类器建模。 从$s_1$到$s_2$的样式转换算法在算法2中详细介绍。

Masked Options

为了解决前一步的操作可能会影响后一步的操作，屏蔽了high-level policy中出现的选项(即位置)，这些选项出现在任何单词被插入、替换或跳过的上下文中(但不包括删除的单词)。

只屏蔽策略中的选项，但不屏蔽句子中的单词(即，两个代理仍然接收完整的句子)，因为我们不能使用屏蔽tokens对状态表示产生偏见。

将窗口大小设置为1(即，每个步骤中有三个单词被屏蔽)。 窗口大小的使用是必要的，因为在很多情况下，例如否定和强调，大小为1的窗口可以覆盖一个完整的语义单元。

结束条件

解决动态地确定轨迹何时应该终止。

如果操作的句子被自信地归类为目标风格，则终止轨迹。 这个简单解决方案的问题是高度程式化的部分可能会导致过早的终止。

提出在操作句中对终止条件进行掩码。

屏蔽策略与Masked Options相同，屏蔽词被$<unk>$替代。

为了解决$<unk>$数量过多的问题，我们训练了Modeling Style Polarity中定义的一个额外分类器，但训练对象是随机替换为$<unk>$的单词的句子。

操作符选择的推理策略

Low-Level Agent: Operators所述，采用启发式推理策略来选择运算符，枚举每个算子，并选择操作句${\hat{x}}_2$，使条件最大化: $c({\hat{x}}_2)=L{M}_2({\hat{x}}_2)\cdot p(s_2|{\hat{x}}_2{)}^{\eta }$

其中$L{M}_2({\hat{x}}_2)$表示语言模型$L{M}_2$计算出${\hat{x}}_2$的概率，$p(s_j|\cdot )$为Modeling Style Polarity中定义的分类器，$\eta$为一个平衡超参数。

数据集有两个，分别是Yelp和Amazon数据集

评价指标有三种，一个是样本分类器（使用TextCNN）实现，BLEU、还有人类打分

实验结果如下：

{x}_2$的概率，$p(s_j |·)$为ModelingStylePolarity中定义的分类器，$η$为一个平衡超参数。

数据集有两个，分别是Yelp和Amazon数据集

评价指标有三种，一个是样本分类器（使用TextCNN）实现，BLEU、还有人类打分

实验结果如下：

[外链图片转存中…(img-Fg8fZnbP-1649162365201)]

[外链图片转存中…(img-cCwXNSDR-1649162365201)]