AMiner推荐论文：CONVFIT: Conversational Fine-Tuning of Pretrained Language Models

论文地址：
https://www.aminer.cn/pub/614a9eca5244ab9dcbc38c35?f=cs
本文研究会话领域中预训练模型作为编码器的转化。基于Transformer的语言模型、对大型文本数据的预训练，被证明储存了丰富的语义知识。然而，1) 它们在现成使用时不能有效地作为句子编码器，并且 2) 在会话任务之中通常会落后于会话预训练编码器、如意图检测（ID）。在这项工作中，作者提出了 ConvFiT-预训练语言模型的会话微调两阶段任务：先将任意预训练的语言模型转化为通用对话编码器；然后再转化为任务专用的句子编码器 。作者证明了 1) 成熟的会话预训练不是必需的，并且语言模型可以快速转换为有效的会话编码器；2)预训练的语言模型可微调为任务专用的句子编码器，针对特定任务的细粒度语义进行优化。实验表明：基于ConvFiT的语言模型已全面实现了最先进的 ID 性能，特别是在个别设置的最具挑战性的方向上。
AMiner,让AI帮你理解科学！https://www.aminer.cn