用于自然语言理解的多任务深度神经网络(Multi-Task Deep Neural Networks for Natural Language Understanding)
1. 摘要
本文提出了一个多任务深度神经网络(MT-DNN),用于跨多个自然语言理解(NLU)任务学习表示。MT-DNN不仅利用了大量的跨任务数据,而且还受益于正则化效应,从而产生更通用的表示,以帮助适应新的任务和领域。MT-DNN扩展了Liu等人提出的模型,加入了一个预训练的双向transformer语言模型,称为BERT。MT-DNN在10个NLU任务上获得了最先进的结果,包括SNLI、SciTail和9个GLUE任务中的8个,将GLUE基准提升到82.7%(2.2%的绝对改进)。还使用SNLI
原创
2020-10-07 21:03:29 ·
5439 阅读 ·
0 评论