使用UpTrain优化和评估LLM应用的完整指南-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/142763119

UpTrain：提升LLM应用的利器

在开发和优化大规模语言模型（LLM）应用时，评估和改进模型性能是关键任务。UpTrain是一个开源平台，专为此类任务设计。本文将深入探讨UpTrain如何帮助评估和提升LLM应用，包括其在关键环节的表现分析。

主要内容

UpTrain集成

UpTrain提供了一系列预配置检查，涵盖语言、代码和嵌入使用案例，并进行失败案例的根本原因分析。通过其回调处理程序，我们能轻松在管道中集成UpTrain，自动执行多种评估。这些评估可在输出中直接显示。

特点及评估方法

Vanilla RAG：用于检索上下文并生成响应。
- 上下文相关性：确保从查询中提取的上下文与响应相关。
- 事实准确性：检查LLM是否存在信息幻觉或错误。
- 响应完整性：确保响应包含查询请求的所有信息。
多查询生成：生成多种变体查询以提升文档检索效果。
- 多查询准确性：验证生成的多查询与原始查询意义一致。
上下文压缩与重新排序：根据查询重新排序节点并选择最相关的节点。
- 上下文重新排序：检查重新排序后的节点是否比原始顺序更相关。
- 上下文简洁性：确保减少的节点数量仍提供所有必要信息。

安装依赖

%pip install -qU langchain langchain_openai langchain-community uptrain faiss-cpu flashrank

代码示例

我们将通过几个代码示例展示UpTrain如何集成和使用。

文档加载与分块

from langchain_community.document_loaders import TextLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

loader = TextLoader("../../how_to/state_of_the_union.txt")
documents = loader.load()

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
chunks = text_splitter.split_documents(documents)

创建检索器与模型

from langchain_community.vectorstores import FAISS
from langchain_openai import OpenAIEmbeddings
from langchain.chains import RetrievalQA

embeddings = OpenAIEmbeddings() # 使用API代理服务提高访问稳定性
db = FAISS.from_documents(chunks, embeddings)
retriever = db.as_retriever()

设置UpTrain回调

from langchain_community.callbacks.uptrain_callback import UpTrainCallbackHandler
from langchain_core.prompts.chat import ChatPromptTemplate
from langchain_core.runnables.passthrough import RunnablePassthrough

KEY_TYPE = "openai"  # 或 "uptrain"
API_KEY = getpass()

llm = ChatOpenAI(temperature=0, model="gpt-4") # 使用API代理服务提高访问稳定性

uptrain_callback = UpTrainCallbackHandler(key_type=KEY_TYPE, api_key=API_KEY)
config = {"callbacks": [uptrain_callback]}

# 创建RAG链
chain = (
    {"context": retriever, "question": RunnablePassthrough()}
    | ChatPromptTemplate.from_template(template)
    | llm
    | StrOutputParser()
)

query = "What did the president say about Ketanji Brown Jackson"
docs = chain.invoke(query, config=config)