本文探讨如何使用大语言模型（LLM）有效地识别摘要中的事实不一致性。研究提出零样本方法和蒸馏高效记分器，通过实验验证LLM能直接解决此任务，且训练出的小型LLM能高效评分。结论显示，这种方法在效率和功效上优于ChatGPT。
本文是LLM系列文章，针对《Identifying Factual Inconsistency in Summaries: Towards Effective Utilization of Large Language Model》的翻译。
识别总结中的事实不一致性：如何有效利用大型语言模型
摘要
事实上的不一致性对抽象摘要的商业部署构成了重大障碍。在这个大语言模型（LLM）时代，这项工作围绕着两个重要问题展开：利用LLM进行事实不一致检测的最佳方式是什么？以及我们如何提取出一个既高效又有效的较小LLM？首先在五个不同的数据集上提出并评估了三种零样本范式：对整个摘要或每个摘要窗口的直接推理；实验表明，LLM本身能够在适当的范式设计下自由训练地解决这一任务，平均超过强训练基线2.8%。为了进一步提高实用性，我们提出了旨在提取较小的开源LLM的训练策略，该LLM可以学习以高精度一次对整个摘要进行评分，这比零样本方法好得多，是一种有效且高效的现成评分器。
1 引言
2 相关工作
3 方法：LLM零样本
4 方法：蒸馏高效记分器
5 结论
在总结中，我们介绍了三种利用LLM进行事实不一致检测
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
