UCSB：在多agent辩论中减少LLM幻觉

📖标题：DebUnc: Mitigating Hallucinations in Large Language Model Agent Communication with Uncertainty Estimations
🌐来源：arXiv, 2407.06426

🛎️文章简介

🔸研究问题：如何减轻大语言模型（LLM）的智能体在沟通中出现幻觉，进而误导其他代理的现象。
🔸主要贡献：论文提出了DebUnc框架，通过引入不确定性评估方法来减轻代理在沟通中出现的幻觉问题。

📝重点思路

🔺相关工作

🔸LLM不确定性：目前一些减轻幻觉的研究工作，侧重于测量模型的不确定性并增强其自我意识。
🔸多代理辩论：LLM作为智能体集成到更复杂的系统中，关键部分是协作机制，模型可以在其中相互辩论。

🔺论文方案

🔸目标：建议智能体根据其置信水平，优先考虑其他智能体的意见。
🔸运作：在每一轮辩论中，每个智能体都会生成一个响应，并估计不确定性。在下一轮中，每个智能体的响应和不确定性将与其他所有智能体共享。
🔸三种不确定性指标：平均令牌熵（Mean Token Entropy），平均令牌负对数概率加权（TokenSAR），预言机（Oracle）
🔸两种不确定性传达：将不确定性转为置信度引入下一轮辩论的文本提示，将不确定性引入注意力机制控制生成过程

🔎分析总结

🔸DebUnc框架在多个LLM、基准测试和不确定性度量中，显著优于未修改的辩论。
🔸调整注意力机制以基于自信度修改令牌权重的方法更为有效，表明信息可以通过传统文本提示之外的方法传达给LLM。

💡个人观点

论文提出了DebUnc框架，通过量化和传达LLM智能体的不确定性来增强多智能体辩论性能。

附录