自动评估器：智能问答的得力助手 :brain: :memo:

自动评估器：智能问答的得力助手 :brain: :memo:

auto-evaluator 项目地址: https://gitcode.com/gh_mirrors/auto/auto-evaluator

在文档问答系统的广泛应用中，LangChain框架提供了一种方便的方式，将语言模型组件（如模型和检索器）组装成链式结构，支持基于问题的回答。然而，问答系统的质量因特定参数设置而异，对答案质量的系统性评估以及如何利用这些评估来优化系统往往是一个挑战。

Auto-evaluator 正是为了解决这一问题应运而生的一个创新应用。它结合了最近的研究成果——模型自动生成的评价集和模型评分评估方法，提供了一个自动生成问题并评估回答质量的工作平台。

应用特点

1. 预加载演示：内置一个经过对话录音转换的文档（Lex Fridman与Andrej Karpathy的访谈），以及一组问题和对应答案，你可以立即尝试配置问答链，并运行实验。
2. 自由探索：上传你自己的文档集，并可选择性地提供相关的问题-答案对。如果没有提供测试集，应用会自动创建一个。
3. 自适应文档检索：可以配置不同的检索策略，包括使用Langchain的文本嵌入相似度搜索，如FAISS。
4. 自动化问题生成：基于Langchain的QAGenerationChain自动生成问题。
5. 模型评分评估：通过多种评分提示，对检索质量和答案质量进行客观评估。
6. 实验结果可视化：清晰的表格和图表显示各项性能指标，包括准确率、延迟和模型评价结果。

技术解析

• 文档检索：应用程序构建一个检索器，将输入文档按用户指定的块大小和重叠量分割，并用于获取与问题相关的片段。
• 问题解答：对于每个问题，使用RetrievalQA链从检索器中提取相关信息，并由选定的语言模型生成答案。
• 模型评分：采用预先定义的评分提示，让模型评估检索质量和答案质量。

应用场景

Auto-evaluator 可广泛应用于：

1. 研发：快速验证不同模型、检索策略或参数设置对问答效果的影响。
2. 教育：评估AI辅助学习系统的答案质量。
3. 信息检索：优化基于内容的相关性检索。
4. 自然语言处理研究：作为基准工具，评估新算法的性能。

这个项目不仅提供了强大的功能，还鼓励贡献者参与其中。你可以轻松运行后端和前端，并通过调整环境变量连接到不同的API服务。

# 后端
pip install -r requirements.txt
uvicorn evaluator_app:app

# 前端
yarn install
yarn dev

通过使用Auto-evaluator，无论是初学者还是专家，都能系统性地提升其问答系统的品质，实现更加精准的知识检索和信息提供。现在就加入，开启你的智能问答优化之旅吧！

auto-evaluator 项目地址: https://gitcode.com/gh_mirrors/auto/auto-evaluator