使用 Langchain、Langfuse、Nemo-gaurdrails、RAGAs构建 RAG 管道并进行监控和评估

原文地址：build-end-to-end-rag-pipeline-with-monitoring-and-evaluation-using-langchain-azure-ai-search

2024 年 4 月 21 日

介绍

使用现代的LLM框架，如Langchain或llamaindex，可以迅速搭建一个用于 RAG 的管道，通常只需编写大约5-6行代码。然而，若要构建一个适用于生产环境的RAG应用程序，仅仅实现文档查询是远远不够的。

在本文中，我们将深入探讨如何设计一个完整的端到端生产级RAG管道，并讨论在构建过程中需要考虑的额外层次和组件。

使用的框架和工具概述

构建 e2e RAG 管道的架构层

Langchain：Langchain 可以轻松构建和设计基于 LLM 的应用程序。它提供了出色的抽象和内置功能，可以从头开始开发基于 RAG 的应用程序

Azure AI 搜索：Azure AI 搜索是来自 Azure 技术栈的搜索引擎。它在传统和 GenAI 搜索应用程序中对用户拥有的内容提供大规模的安全信息检索

Langfuse：Langfuse 是开源监控和可观察性工具。这有助于在整个生命周期中构建和改进LLMs应用。它提供跟踪、评估、提示管理和指标功能。可以轻松部署到本地系统或云服务

NeMo-Guardrails： NeMo-guardrails 是个开源工具包，可轻松将可编程护栏添加到基于 LLM 的对话系统中。关键护栏包括输入护栏、输出护栏和对话护栏。

Ragas： Ragas 是个框架，可帮助您评估检索增强生成 (RAG) 管道。这提供了有助于评估 RAG 的关键指标。

Azure OpenAI 搜索：