数据增强方法——Back translations（反向翻译）

2021SC@SDUSC

目录

2021SC@SDUSC

主要知识

代码分析

---

主要知识

Back translations是一种通用的数据增强算法，能在保留句子语义的情况下生成不同的句子。对于无标签数据使用Back translations方法，对于数据无标签数据x，生成K个增强数据样本。对于Back translations，例如把句子翻译成德语，然后在翻译回来（即标题这里称作反向翻译）。在增强文本生成中，我们采用具有可调温度的随机采样来代替beam search以确保多样性。 这样数据增强用于为无标签数据生成标签。

对于一个无标签数据x和k个数据增强的数据x，使用权重平均的方法，公式如下:

其中等式左边y_iu是一个概率向量，倾向于期待模型预测出连续的标签对于不同的数据增强。为了强化限制，我们使用所有预测值的平均值作为标签，而不是某个数据的预测值。我们通过w_ori,w_k 控制不同的数据增强的质量去生成标签。

代码分析

class TFTransfoXLMainLayer(tf.keras.layers.Layer):
    def __init__(self, config, **kwargs):
        supe