基于短语的句子学习模型Sentence Representation Learning withGenerative Objective rather than Contrastive Object

• BERT的“[CLS]”标记生成的原生句子表示在句子评估基准(如语义文本相似性(STS)任务)上表现非常糟糕。
  • 缺乏有效的自监督句子训练集
  • 通常自监督方法：通过加mask生成，或者对比（NSP）
  • ConSERT标记变换、特征截断
  • SimCSE使用不同 的dropout掩码
• 自监督学习：支持生成内容选择，效果不错，但在句子方向应用少
  • 现有：句子视为整体，句间不同
  • 本文：句内视角
• 短语感知的句子表示(PaSeR)：在句子表示中将最重要短语编码

  

• 核心方法
  • 短语提取：一个句子句法解析树中的随机子树。通过使用NLTK (Loper and Bird, 2002)，我们可以很容易地提取一个句子的组成部分，包括从句(SBAR)，动词短语(VP)和名词短语(NP)。
  • 统计关键短语提取算法，RAKE (Rose等人，2010)。RAKE首先使用停顿词或标点符号将原句子或文档标记成短语。为了获得每个短语的重要性，RAKE首先构建单词的共现矩阵，并通过其在共现矩阵中的度deg(w)和其在文档或句子中的频率freq (w)计算单词w的重要性。最后，通过对该短语中所有单词的wordScore求和来计算该短语的重要性。（best perform）
  • 

  • 

   

  • Duplicate and Masking
    • 差分模型：具体来说，对于一个给定的句子s，它由多个短语P = {p0, p1，…， pn}，