本文是LLM系列文章,针对《Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference》的翻译。
摘要
虽然大型预训练语言模型很强大,但它们的预测在测试输入之间往往缺乏逻辑一致性。例如,最先进的Macaw问答(QA)模型回答“麻雀是鸟吗?”鸟有脚吗?麻雀有脚吗?为了解决这种失败模式,我们提出了一个框架,即通过关系检测一致性校正(ConCoRD),用于使用预训练的自然语言推理(NLI)模型提高预训练的NLP模型的一致性和准确性,而无需微调或重新训练。给定一批测试输入,ConCoRD为每个输入采样几个候选输出,并实例化一个因子图,该因子图既说明了模型对孤立的每个答案选择的可能性的信念,也说明了NLI模型对成对的答案选择兼容性的信念。我们证明了一个加权的MaxSAT求解器可以在这个因素图下有效地计算高质量的答案选择,比原始模型的预测更好。我们的实验表明,ConCoRD使用现成的NLI模型持续提高了现成的闭卷QA和VQA模型的准确性和一致性,特别是将LXMERT在ConVQA上的准确性绝对提高了5%。有关代码和数据,请参阅项目网站。
1 引言
2 相关工作
3 通过关系检测进行一致性校正
4 实验
5 讨论与结论
我们已经提出了ConCoRD框架,用于使用预训练的NLI模型估计的关系来增强预训练语言模型的自一致性,表明它在各种设置下提高了现成的性能,而不需要任何微调。我们的研究结果