HKUST：LLM中文网络检索推理评估

📖标题：BrowseComp-ZH: Benchmarking Web Browsing Ability of Large Language Models in Chinese
🌐来源：arXiv, 2504.19314

🌟摘要

🔸随着大型语言模型 (LLM) 演变为使用工具的代理，实时浏览网络的能力已成为衡量其推理和检索能力的关键标准。现有的基准测试，如BrowseComp，侧重于英语，忽视了其他主要信息生态系统（尤其是中文）的语言、基础设施和与审查相关的复杂性。
🔸为了解决这一差距，我们引入了 BrowseComp-ZH，这是一个高度难度的基准目的，旨在全面评估中国网络上的 LLM 代理。BrowseComp-ZH 由跨越 11 个不同领域的 289 个多跳问题组成。每个问题都是从简短、客观且易于验证的答案（例如，日期、数字或专有名词）逆向工程的。应用两阶段质量控制协议来努力解决高问题难度和答案唯一性。
🔸我们在我们提出的 BrowseComp-ZH 上对 20 个最先进的语言模型和代理搜索系统进行了基准测试。尽管他们的模型具有很强的对话和检索能力，但大多数模型严重挣扎：大量的准确率低于 10%，只有少数超过 20%。即使是性能最好的系统 OpenAI 的 DeepResearch，也达到了 42.9%。这些结果证明了 BrowseComp-ZH 的相当大的困难，其中成功不仅需要有效的检索策略，还需要复杂的推理和信息协调——当前模型仍然难以掌握的能力。我们的数据集、构建指南和基准测试结果已在 https://github.com/PALIN2018/BrowseComp-ZH 上公开发布。

🛎️文章简介

🔸研究问题：如何评估大语言模型（LLM）在中文信息环境中的网络浏览和推理能力？
🔸主要贡献：论文提出了BrowseComp-ZH基准，专门设计用于评估LLM在中文环境下的网络浏览能力和推理能力。

📝重点思路

🔸论文通过逆向设计复杂查询，要求模型在多约束条件下进行信息检索和逻辑推理，以确保每个问题的独特性和高难度。
🔸研究过程中，采用两阶段质量控制流程，包括问题难度验证和答案唯一性验证，确保高质量的样本。
🔸通过对多种大型语言模型和AI搜索产品的广泛评估，分析它们在BrowseComp-ZH基准上的表现。

🔎分析总结

🔸实验结果表明，具备推理能力的模型在处理复杂问题时表现显著优于没有推理机制的模型。
🔸AI搜索产品通过多轮检索的方式，表现出更高的准确性，特别是在面对多维度查询时，明显优于单次检索的系统。
🔸论文还发现，传统的英语浏览基准难以有效评估中文环境中的模型能力，强调了在特定语言环境中构建本土基准的重要性。

💡个人观点

论文的创新点在于首次针对中文信息生态系统设计了一个全面的评估基准，填补了现有评估工具在非英语环境中的空白。

🧩附录