现存的预训练模型中没有一种可以完美的适用于所有任务,这也给预训练模型的选择带来困难。对于这个问题,论文提供了一种切实可行的解决方案,即UER(Universal Encoder Representations)。
论文标题:UER: An Open-Source Toolkit for Pre-training Models;
论文地址: https://arxiv.org/abs/1909.05658
自然语言处理(NaturalLanguage Processing, NLP)主要研究如何让计算机读懂人类的自然语言,该技术是人工智能非常重要的研究领域之一,也是人工智能最难解决的问题之一。幸运的是,得益于迁移学习技术的发展,自然语言处理在近些年也取得了快速的发展,并广泛应用于机器翻译、信息检索等领域。
何为迁移学习?在自然语言处理的背景下,迁移学习本质上是在一个源领域(Source Domain)数据集上预训练模型,然后对该模型进行