《Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation》浅析

摘要

传统的文本样式转换通常是通过分解隐空间中的内容和风格的方式。这种方式存在如下两种问题：

• 很难从句子的语义中完全剥离样式信息
• 基于编解码器模式的RNN难以保持长程依赖，导致内容保真度有损

本文提出一种不用隐空间假设，基于注意力机制的模型——Style Transformer，能够较好的保持文本内容，同时很好的转化文本风格

发展

文本样式转换定义：改变文本的风格属性，同时尽可能保留文本的内容信息。
难点：文本风格的定义比较含糊，因此很难构建具有相同内容和不同风格配对句子。

• 从内容与风格分离的角度入手

  • 方式：
    • encoder: 将文本表征为与风格独立的表示
    • decoder: 根据encoder输出的表示生成相同内容不同风格的新文本
    • 损失：对抗损失
  • 缺点：
    • 由于难以从句子的语义中分离风格模式，因此分解质量难以判定
    • 一个好的解码器可以通过覆盖原始样式从编码的输出表示中生成所需风格的文本，即可不需要分解内容和样式
    • 由于向量长度有限，所容纳信息有限，因此文本信息会有所损失，尤其是长文本
    • RNN作为编解码器捕捉句子中单词之间长程依赖性的能力较差
  • 发展
    • a cross-aligned auto-encoder 交叉对齐自编码器(2017)
    • combines variational auto-encoder and holistic attribute discriminators 结合变分自动编码器和整体属性鉴别器（2017）
    • 以及基于上面方法的一些改进办法

• 非分解方式

  • a cycled reinforcement learning method 循环强化学习方法（2018）
  • a three-stage method 三步法（2018）
    • 提取内容词汇
    • 提取目标风格的介词
    • 组合
  • denoising Auto-encoder and back-translation 将文本风格转换问题转变为无监督机器翻译问题

• 如上两者方式的不足：没有注意力机制，具有长程依赖问题

• 本文方式

  • 第一个引入Transformer 模型
  • 引入一种新颖的训练方法，该方法不用基于分离隐空间的假设，因此可以采用注意力机制来进一步提高性能
  • 效果好

模型

问题描述

将一种风格的文本转为另一种风格的文本：
{ D i } , i = 1 , 2 , . . . , k \{D_i\},i=1,2,...,k { Di​},i=1,2,...,k表示$k$个数据集，每个数据集一种风格，即有$k$种风格 { s i } , i = 1 , 2 , . . . , k \{s_i\},i=1,2,...,k