在运行时传递回调：LangChain中的高级技巧

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142136935

在运行时传递回调：LangChain中的高级技巧

引言

在使用LangChain构建复杂的AI应用时，能够灵活地管理和监控各个组件的执行过程至关重要。本文将深入探讨如何在运行时传递回调，这是一种强大的技术，可以让你在不修改现有代码的情况下，动态地添加日志记录、性能监控等功能。

回调的重要性

回调机制允许我们在特定事件发生时执行自定义代码。在LangChain中，这些事件可能包括：

LLM调用的开始和结束
Chain的执行过程
Agent的决策过程

通过回调，我们可以：

记录详细的执行日志
收集性能指标
实现自定义的错误处理
动态修改执行流程

在运行时传递回调

LangChain提供了一种优雅的方式来在运行时传递回调，而无需修改现有的组件代码。这是通过在执行时使用callbacks参数实现的。

代码示例

让我们通过一个实际的例子来看看如何实现：

from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import BaseCallbackHandler
from langchain_core.messages import BaseMessage
from langchain_core.outputs import LLMResult
from langchain_core.prompts import ChatPromptTemplate

class LoggingHandler(BaseCallbackHandler):
    def on_chat_model_start(
        self, serialized: Dict[str, Any], messages: List[List[BaseMessage]], **kwargs
    ) -> None:
        print("Chat model started")

    def on_llm_end(self, response: LLMResult, **kwargs) -> None:
        print(f"Chat model ended, response: {response}")

    def on_chain_start(
        self, serialized: Dict[str, Any], inputs: Dict[str, Any], **kwargs
    ) -> None:
        print(f"Chain {serialized.get('name')} started")

    def on_chain_end(self, outputs: Dict[str, Any], **kwargs) -> None:
        print(f"Chain ended, outputs: {outputs}")

# 创建回调处理器实例
callbacks = [LoggingHandler()]

# 初始化LLM和提示模板
llm = ChatAnthropic(model="claude-3-sonnet-20240229")
prompt = ChatPromptTemplate.from_template("What is 1 + {number}?")

# 创建Chain
chain = prompt | llm

# 使用API代理服务提高访问稳定性
response = chain.invoke(
    {"number": "2"}, 
    config={"callbacks": callbacks}
)

print(response)

在这个例子中：

我们定义了一个LoggingHandler类，它继承自BaseCallbackHandler并实现了几个关键的回调方法。
创建了一个回调处理器的实例列表callbacks。
初始化了LLM和提示模板，并创建了一个简单的Chain。
在调用chain.invoke()时，我们通过config={"callbacks": callbacks}参数传入了回调处理器。

这样，我们就可以在不修改Chain或LLM代码的情况下，动态地添加日志记录功能。

常见问题和解决方案

问题：回调没有被触发
解决方案：确保你的回调类正确地继承了BaseCallbackHandler，并且实现了相应的方法。
问题：在使用多个嵌套组件时，回调行为不一致
解决方案：LangChain会自动将回调传递给所有嵌套的组件。如果遇到问题，检查是否有组件覆盖了默认的回调行为。
问题：回调影响了性能
解决方案：对于高性能要求的应用，考虑使用异步回调或者只在关键点添加回调。