IJCAI2021论文：MEDA：一种为小样本文本分类设计的结合数据增强的元学习框架

点击下面卡片，关注我呀，每天给你送来AI技术干货！

来自：南大NLP

01

—

研究背景及动机

近些年，元学习已经成为解决小样本问题的主流技术，并且取得不错的成果。然而，由于现有的元学习方法大多数集中在图像分类上，而对文本分类上的关注比较少。与图像不同，同一类别中文本具有多种表达方式，这使得当前元学习方法的性能更容易受到每个类别样本数（即shot的数量）的影响。因此，现有的元学习方法很难在小样本文本分类上取得令人满意的结果。

 

为了解决这个问题，我们在元学习中引入了数据增强，它带来的好处是我们可以产生增强样本以增加新类别的样本数量，并使训练样本多样化。然而，这带来了一个新的挑战，如何在小样本的情况下产生置信度高的样本？

 

为此，我们提出了一种新颖的数据增强方法，称为Ball generator，图1给出了一个简单的例子。首先，我们计算支持集的最小包围球，并在该球中合成样本。我们认为该球中的样本具有较高的置信度，因为所有支持集样本都包含在该球中，并且它们与球心的最远距离最小。其次，为避免合成样本偏差的影响，我们引入了变换模块，以使合成样本靠近自己的球心，并远离其他球心。此外，我们还提出了一个新的基于数据增强的元学习框架（MEta-Learning with Data Augmentation，MEDA），以联合训练ball generator和meta-learner，使二者协同进化。与普通元学习相比，通过增加新类别的样本数量，有效地提高了meta-learning在小样本情况下的泛化能力。

图1：Ball generator示例

02

—

MEDA

MEDA的框架如图2所示。它是两模块组成：一个是ball generator模块，它负责利用支持集 生成增强支持集 ，并得到扩展支持集 。另一个模块是meta-learner，它在给定了扩展支持集 的条件下计算每个查询实例 在类别上的概率分布，表示为 。而不同的meta-learner的区别在于如何实现 。这里我们选择原型网络和关系网络作为MEDA的meta-learner。

图2: MEDA

其中，ball generator是一种特征空间数据增强方法。它的核心思想是在特征空间中进行样本的合成，并对合成的样本进行调整。因此，整个ball generator由两个子模块组成：合成模块和变换模块。

合成模块利用空间采样算法获得相应的合成样本。具体是将采样空间限制为支持集 的最小包围球 ，这里 是球心， 是半径。然后，通过如下公式计算得到合成样本：

这里， 和 。

变换模块，它是为了进一步避免合成样本偏差的影响，在特征空间中对合成的样本进行变换操作，使合成样本更接近自己类别的球心，而远离其他球心。因此，我们将变换操作写成函数 ，该函数以合成样本 作为输入，产生一个增强样本 作为输出。

03

—

实验

本文的实验是在SNIPS和ARSC数据集上进行的。我们将MEDA与三组baseline模型进行了比较。第一组是数据增强的模型；第二组是传统的元学习模型；第三组是最新的小样本文本分类的SOTA模型。实验结果如表1和2所示。

表1：SNIPS实验结果

表2: ARSC实验结果

从实验结果上来看，由于通过数据增强获得更多的训练样本，使得MEDA在两个数据集上都取得一致且显著的提升。

为了更进一步说明模型的shot数量对模型的影响，我们设计相应的实验。如图3所示，我们可以观察到MEDA在所有设置中都取得了最好的表现。特别地，MEDA的准确率随着shot数量的减少而增加（间距变大），这表明当shot数相对较小时，模型效果的提升更明显。

图3: 不同shot数量对模型准确率的影响

此外，我们还研究了模型的准确性如何随着增强样本数量的变化而变化。我们画出不同模型在SNIPS数据集上的准确率变化情况。如图4所示：

图4: 不同模型的平均准确率随增强样本数量的变化而变化

可以看到，随着增强样本数量的增加，模型的准确率有所提高。同时，我们比较5-shot和10-shot的实验设置，我们发现通过模型增强5个样本与使用5个真实样本的效果几乎相同，这意味着我们的MEDA不是简单地复制样本，而是为模型生成有意义的样本。

04

—

总结

在本文中，我们提出了一种新颖的数据增强方法，称为ball generator，以增加新类别的样本数量。此外，我们还提出了一个新的框架MEDA，该框架联合优化了ball generator和meta-learner，从而使ball generator可以学习生成最适合meta-learner的增强样本。更多的细节、结果以及分析请参考原论文。

作者：孙鹏飞

编辑：刘莉

校审：何亮

说个正事哈

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方“深度学习自然语言处理”，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！