揭秘LangChain应用开发：TruLens如何利用量化技术对抗幻觉

在AI的发展中，大规模语言模型已经取得了令人瞩目的成果，然而，随之而来的是模型质量和不确定性的问题。如何衡量和改进模型的质量，一直是我们面临的一个挑战。

为了解决这些问题，我们将在这篇文章中，介绍LangChain框架和TruLens工具，它们将帮助我们评估模型的质量，提高模型质量，并能够用量化的方法对抗不确定。

什么是TruLens

TruLens是面向神经网络应用的质量评估工具，它可以帮助你使用反馈函数来客观地评估你的基于LLM（语言模型）的应用的质量和效果。反馈函数可以帮助你以编程的方式评估输入、输出和中间结果的质量，从而加快和扩大实验评估的范围。你可以将它用于各种各样的用例，包括问答、检索增强生成和基于代理的应用。

TruLens的核心思想是，你可以为你的应用定义一些反馈函数，这些函数可以根据你的应用的目标和期望，对你的应用的表现进行打分或分类。例如：

• 定义一个反馈函数来评估你的问答应用的输出是否与问题相关，是否有依据，是否有用。
• 定义一个反馈函数来评估你的检索增强生成应用的输出是否符合语法规则，是否有创造性，是否有逻辑性。
• 定义一个反馈函数来评估你的基于代理的应用的输出是否符合道德标准，是否有友好性，是否有诚实性。

TruLens可以让你在开发和测试你的应用的过程中，实时地收集和分析你的应用的反馈数据，从而帮助你发现和解决你的应用的问题，提高你的应用的质量和效果。你可以使用TruLens提供的易用的用户界面，来查看和比较你的应用的不同版本的反馈数据，从而找出你的应用的优势和劣势，以及改进的方向。

如何在LangChain中使用TruLens来评估模型输出和检索质量

LangChain作为一种新的语言模型框架，它提供了一种有效的部署和管理大规模语言模型的框架。使用LangChain管理模型，不仅可以轻松部署和执行模型，还可以方便地观察模型的内部状态。再结合TruLens的评估工具，我们就可以对模型的质量进行深入理解和改进。

要在LangChain中使用TruLens来评估你的应用，你只需要做两件事：

1. 在你的LangChain代码中，导入TruLens，并使用TruChain类来包装你的LangChain对象。TruChain类是一个装饰器，它可以让你的LangChain对象在运行时，自动地调用TruLens的反馈函数，并记录反馈数据。
2. 在你的TruLens代码中，指定你想要使用的反馈函数，以及你想要给你的应用的ID。你可以使用TruLens提供的内置的反馈函数，也可以自定义你自己的反馈函数。你可以为你的应用指定一个唯一的ID，这样你就可以在TruLens的用户界面中，根据ID来查找和比较你的应用的反馈数据。

下面是一个简单的示例，展示了如何在LangChain中使用TruLens来评估一个问答应用：

pip install trulens_eval

# 导入LangChain和TruLens
from langchain.chains import LLMChain
from langchain.llms import OpenAI
from langchain.prompts import PromptTemplate
from langchain.prompts.chat import ChatPromptTemplate,HumanMessagePromptTemplate
from trulens_eval import TruChain,Feedback, Huggingface, Tru, OpenAI as TruOpenAI
from trulens_eval.feedback.provider.langchain import Langchain

tru = Tru()

# 定义一个问答应用的提示模板
full_prompt = HumanMessagePromptTemplate(
    prompt=PromptTemplate(
        template=
        "Provide a helpful response with relevant background information for the following: {prompt}",
        input_variables=["prompt"],
    )
)

chat_prompt_template = ChatPromptTemplate.from_messages([full_prompt])

# 创建一个LLMChain对象，使用llm和chat_prompt_template作为参数
llm = OpenAI()
chain = LLMChain(llm=llm, prompt=chat_prompt_template, verbose=True)

# Initialize Huggingface-based feedback function collection class:
# Define a language match feedback function using HuggingFace.
hugs = Huggingface()
f_lang_match = Feedback(hugs.language_match).on_input_output()
# Question/answer relevance between overall question and answer.
provider = TruOpenAI()
f_qa_relevance = Feedback(provider.relevance).on_input_output()

# 使用TruChain类来包装chain对象，指定反馈函数和应用ID
tru_recorder = TruChain(
    chain,
    app_id='Chain1_QAApplication',
    feedbacks=[f_lang_match,f_qa_relevance])

# 使用with语句来运行chain对象，并记录反馈数据
with tru_recorder as recording:
    # 输入一个问题，得到一个回答
    chain("What is langchain?")
    # 查看反馈数据
    tru_record = recording.records[0]
    # 打印反馈数据
    print("tru_record:",tru_record)
# 启动tru展示控制台
tru.run_dashboard()

以RAG为例看看TruLens的评估结果

RAG（Retrieval-Augmented Generation）是一种基于LLM的应用，它可以利用检索系统来增强LLM的生成能力。RAG的工作原理是，当给定一个输入时，它会先从一个大规模的知识库中检索出一些相关的文档，然后将这些文档作为LLM的上下文，再使用LLM来生成一个输出。RAG可以用于各种生成任务，例如问答、摘要、对话等。

RAG的优点是，它可以利用检索系统来提供LLM所缺乏的知识和信息，从而提高LLM的生成质量和多样性。RAG的缺点是，它也可能引入一些错误和幻觉，例如检索出不相关或不准确的文档，或者生成与输入或文档不一致的输出。

为了评估RAG的质量和效果，我们可以使用TruLens提供的RAG三角形（RAG Triad）的评估方法。RAG三角形是由三个评估指标组成的，分别是：

• 上下文相关性（Context Relevance）：评估输入和检索出的文档之间的相关性，以及文档之间的一致性。上下文相关性越高，说明检索系统越能找到与输入匹配的知识和信息，从而为LLM提供更好的上下文。
• 有根据性（Groundedness）：评估输出和检索出的文档之间的一致性，以及输出的可信度。有根据性越高，说明LLM越能利用检索出的文档来生成有依据的输出，从而避免产生幻觉或错误。
• 答案相关性（Answer Relevance）：评估输出和输入之间的相关性，以及输出的有用性。答案相关性越高，说明LLM越能理解输入的意图和需求，从而生成有用的输出，满足用户的目的。

RAG三角形的评估方法可以让我们从不同的角度来检验RAG的质量和效果，从而发现和改进RAG的问题。我们可以使用TruLens来实现RAG三角形的评估方法，具体步骤如下：

1. 在LangChain中，创建一个RAG对象，使用RAGPromptTemplate作为提示模板，指定检索系统和知识库的参数。
2. 在TruLens中，创建一个TruChain对象，包装RAG对象，指定反馈函数和应用ID。反馈函数可以使用TruLens提供的f_context_relevance, f_groundness, f_answer_relevance，也可以自定义。
3. 使用with语句来运行RAG对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。
4. 查看和分析反馈数据，根据RAG三角形的评估指标，评价RAG的表现。

下面是一个简单的示例，展示了如何在LangChain中使用TruLens来评估一个RAG问答应用：

# 导入LangChain和TruLens
from IPython.display import JSON

# Imports main tools:
from trulens_eval import TruChain, Feedback, Huggingface, Tru
from trulens_eval.schema import FeedbackResult
tru = Tru()
tru.reset_database()

# Imports from langchain to build app
import bs4
from langchain import hub
from langchain.chat_models import ChatOpenAI
from langchain.document_loaders import WebBaseLoader
from langchain.embeddings import OpenAIEmbeddings
from langchain.schema import StrOutputParser
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.vectorstores import Chroma
from langchain_core.runnables import RunnablePassthrough
from trulens_eval.feedback.provider import OpenAI
import numpy as np
from trulens_eval.app import App
from trulens_eval.feedback import Groundedness

# 加载文件
loader = WebBaseLoader(
    web_paths=("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs=dict(
        parse_only=bs4.SoupStrainer(
            class_=("post-content", "post-title", "post-header")
        )
    ),
)
docs = loader.load()
# 分词
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
# 存入到向量数据库
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings(
))
# 定义一个RAG Chain

retriever = vectorstore.as_retriever()

prompt = hub.pull("rlm/rag-prompt")
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

def format_docs(docs):
    return "\n\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)
# 使用TruChain类来包装rag对象，指定反馈函数和应用ID
# Initialize provider class
provider = OpenAI()
# select context to be used in feedback. the location of context is app specific.
context = App.select_context(rag_chain)
grounded = Groundedness(groundedness_provider=provider)
# f_context_relevance, f_groundness, f_answer_relevance 定义反馈函数
# Define a groundedness feedback function
f_groundedness = (
    Feedback(grounded.groundedness_measure_with_cot_reasons)
    .on(context.collect()) # collect context chunks into a list
    .on_output()
    .aggregate(grounded.grounded_statements_aggregator)
)

# Question/answer relevance between overall question and answer.
f_qa_relevance = Feedback(provider.relevance).on_input_output()
# Question/statement relevance between question and each context chunk.
f_context_relevance = (
    Feedback(provider.qs_relevance)
    .on_input()
    .on(context)
    .aggregate(np.mean)
    )
# 使用with语句来运行rag对象，并记录反馈数据
tru_recorder = TruChain(rag_chain,
    app_id='Chain1_ChatApplication',
    feedbacks=[f_qa_relevance, f_context_relevance, f_groundedness])

with tru_recorder as recording:
    # 输入一个问题，得到一个回答，以及检索出的文档
    llm_response = rag_chain.invoke("What is Task Decomposition?")
    # 查看反馈数据
    rec = recording.get() # use .get if only one record
    # 打印反馈数据
    print(rec)
# 启动tru展示控制台
tru.run_dashboard()

结论

在本文中，我们介绍了如何在LangChain中使用TruLens来对LLM进行评估和优化，以及如何利用TruLens的结果来量化和对抗模型的不确定性。我们通过一个文本生成的任务为例，演示了如何使用TruLens来对模型的输出进行测量和量化，以及对模型的行为进行分析和解释。我们还分享了一个RAG案例代码，用实际指标说明了TruLens的评估结果。

我们也期待，未来有更多的工具和方法，可以对LLM进行更有效的评估和优化，以及更好地量化和对抗模型的不确定性。我们相信，这将有助于推动LLM的发展和应用，以及提升AI语言的水平和价值。

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓