【Paper Quickthrough】October Papers

Paper to quickthrough

All-but-the-Top: Simple and Effective Postprocessing for Word Representations

Paper Url. Accepted by ICLR 2018.

搞清楚如何减的D维的PCA，figure out why do this?

Abstract

实值词表示已经转化为NLP应用;最常见的例子是word2vec和GloVe，这两种语言因其捕捉语言规律的能力而得到认可。在本文中，我们演示了一种非常简单，但反直觉的后处理技术**，消除了单词向量中的公共平均向量**和一些主要方向，从而使当前的文本表示更加强大。后处理是实证验证各种lexical-level内在任务(文字相似、概念分类、词类比)和字面意思任务(语义结构相似性和文本分类)在多个数据集和各种表示方法和hyperparameter选择多种语言;在每一种情况下，经过处理的表示始终比原始表示好。

Out-of-manifold Regularization in Contextual Embedding Space for Text Classification

Paper Url. Accepted by ACL 2021 Long Paper.

Abstract

最近对具有预先训练权值的神经网络(即BERT)的研究主要集中在低维子空间，其中嵌入向量由输入词(或其上下文)计算得到。在这项工作中，我们提出了一种新的方法来寻找和规范剩余的空间，被称为流形外，不能通过文字访问。具体地说，我们利用两个从实际观测词中得到的嵌入来合成流形外的嵌入，利用它们来微调网络。通过训练一个鉴别器来检测输入嵌入是否位于流形内，同时优化一个生成器来产生新的嵌入，使其易于被鉴别器识别为流形外的嵌入。这两个模块成功地以统一的端到端方式协作，将流形外规范化。我们对各种文本分类基准的广泛评估证明了我们的方法的有效性，以及它与旨在增强歧管的现有数据增强技术的良好兼容性。

Putting Words in BERT’s Mouth: Navigating Contextualized Vector Spaces with Pseudowords

Paper Url. Accepted by EMNLP 2021.

Abstract

我们提出了一种在上下文化向量空间(特别是BERT空间)中探索单个点周围区域的方法，作为一种研究这些区域如何对应单词意义的方法。通过引入语境化的“伪词”作为输入层中静态嵌入的替代，然后对句子中的单词进行掩码预测，我们能够以一种受控的方式围绕单个实例研究bert空间的几何结构。将我们的方法应用于一组精心构建的针对英语歧义词的句子中，我们发现语境化空间具有实质性的规律性，即对应不同词义的区域;但在这些区域之间偶尔会出现“意义空白”。——不符合任何可理解意义的区域。

Multi-Task Label Embedding for Text Classification

Paper Url.

Abstract

文本分类中的多任务学习利用相关任务之间的隐关联来提取共同特征并获得性能增益。但是，以往的大量工作将每个任务的标签视为独立的、无意义的单热点向量，导致潜在标签信息的丢失。在本文中，我们提出多任务标签嵌入，将文本分类中的标签转换为语义向量，从而将原始任务转化为向量匹配任务。该模型利用了任务间的语义关联，便于在新任务出现时进行扩展或迁移。在五个文本分类基准数据集上的大量实验表明，我们的模型可以有效地提高具有标签和附加信息语义表示的相关任务的性能。