AI大语言模型幻觉排行榜：Gemini 2.0 Flash幻觉最低

近日，Vectara 发布了一份名为 “幻觉排行榜” 的报告，比较了不同大型语言模型（LLM）在总结短文档时产生幻觉的表现。这份排行榜利用了 Vectara 的 Hughes 幻觉评估模型(HHEM-2.1)，该模型定期更新，旨在评估这些模型在摘要中引入虚假信息的频率。根据最新数据，报告指出了一系列流行模型的幻觉率、事实一致性率、应答率以及平均摘要长度等关键指标。

在最新的排行榜中，谷歌的 Gemini2.0系列表现出色，尤其是 Gemini-2.0-Flash-001，以0.7% 的低幻觉率位居榜首，显示出其在处理文档时几乎没有引入虚假信息。此外，Gemini-2.0-Pro-Exp 和 OpenAI 的 o3-mini-high-reasoning 模型分别以0.8% 的幻觉率紧随其后，表现同样不俗。

报告还显示，尽管许多模型的幻觉率有所上升，但大部分仍保持在一个较低的水平，且多模型的事实一致性率均在95% 以上，表明它们在确保信息真实方面的能力相对强劲。特别值得注意的是，模型的应答率普遍较高，绝大多数模型的应答率接近100%，这意味着它们在理解和回应问题时表现出色。

另外，排行榜还提及了不同模型的平均摘要长度，说明模型在信息浓缩方面的能力差异。总体来看，该排行榜不仅为研究者和开发者提供了重要的参考数据，也为普通用户了解当前大型语言模型的表现提供了便利。

具体排名入口:https://github.com/vectara/hallucination-leaderboard