Abstract
- 我们通过将不同的预训练 sentence encoders 集成到 sentence meta-embeddings 中,来解决无监督 STS 任务。
- 我们尝试在句子级别上应用、扩展和评估了来自 word embedding 文献的 meta-embedding 方法,包括:
- dimensionality reduction
- generalized Canonical Correlation Analysis
- cross-view auto-encoders.
我们的 sentence meta-embeddings 方法在 STS Benchmark 以及 STS12–STS16 上成为了新的无监督 SOTA,相比于 single-source systems 带来了 3.7% 到 6.4% 的 Pearson 相关系数提升。
1 Introduction
在词嵌入上应用元学习的效果超过了 single-source 词嵌入的效果,其原因可能是融合了各个组成部分的互补优势。
最近的研究热点是预训练通用的句编码器,即将句子的各种不同的语言特征编码进一个固定大小的向量。由于各种句编码器在网络结构和训练数据上各有不同,我们假设他们是可以优势互补的因而可以从 meta-embedding 中受益。