论文链接:
https://www.aminer.cn/pub/5ef96b048806af6ef27721fe?f=cs
随着基于 transformer 的预训练语言模型的广泛应用,多种自然语言处理任务在近一两年来都取得了显著突破。然而,高质量的模型仍然很大程度上依赖于充足的下游任务训练数据,当面对新的领域、问题场景时,预训练模型的效果仍然有待提高。
在现实应用场景中,很多领域及语言的高质量标注数据十分稀缺且昂贵,因此,如何让模型在低资源的场景下更高效地学习是一个 NLP 社群非常关注的问题。
本文介绍的工作来自于阿里巴巴达摩院新加坡 NLP 团队,其中前两篇是同新加坡国立大学 Prof Ng Hwee Tou(ACL Fellow)的 AIR 合作项目产出。本文由达摩院邴立东、何瑞丹、张琰,苏州大学李俊涛,新加坡国立大学叶海共同整理而成。
AMiner,让AI帮你理解科学!https://www.aminer.cn