超级会员免费看
该文提出两种预训练的句子嵌入模型——基于Transformer和Deep Averaging Network（DAN），用于多种NLP任务的迁移学习，实验表明它们在小规模数据集上能取得良好效果。Transformer模型在准确性上占优，但计算资源需求高；DAN模型则在效率和准确性间取得平衡。论文还探讨了不同模型在资源使用和性能之间的权衡，并提供了预训练模型供下载。
Abstract
Baseline:
- word level transfer learning via pretrained word embeddings
- do not use any transfer learning
we find that transfer learning using sentence embeddings tends to outperform word level transfer.
pre-trained sentence encoding models are made freely available for download and on TF Hub.
https://tfhub.dev/google/universal-sentence-encoder/1
Introduction
由于标注成本高昂，在大部分学术界和工业界的 NLP 任务中并没有大量可用的数据集。很多模型通过使用预训练词嵌入（wordwvec, GloVe等）隐式实现有限的迁移学习来解决这个问题。最近的研究发现预训练的句子级别的 embedding 展现出很好的性能。
本文提出两种模型来生成 sentence embedding，在多种 NLP 任务上展现出很好的迁移学习效果。
本文还通过实验说明了迁移学习效果和训练集大小的关
订阅专栏 解锁全文
944
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
