LangChain表达式LCEL(一)
LCEL介绍
LangChain表达式语言(LCEL)是一种声明式的方式,可以将链条组合在一起。LCEL从一开始就被设计为支持将原型放入生产中,不需要改变任何代码。以下是LCEL的优点:
- 流式支持:使用LCEL构建链时,可以得到最佳的首次得到令牌的时间(输出的第一块内容出来之前的时间)。例如,从LLM流式传输令牌到一个流式输出解析器,就可以以与LLM提供者输出原始令牌相同的速率得到解析后的、增量的输出块。
- 异步支持:任何用LCEL构建的链都可以通过同步API以及异步API(在LangServe服务器中)进行调用。
- 优化的并行执行:只要是LCEL链中有可以并行执行的步骤,就会自动执行,无论是在同步接口还是异步接口中,从而获得最小可能的延迟。
- 重试和回退:在LCEL链的任何部分配置重试和回退。
- 访问中间结果:在最终输出产生之前就能访问中间步骤的结果。可以让最终用户知道正在发生什么,甚至只是用来调试你的链。
- 输入和输出模式:输入和输出模式为每个LCEL链提供了从你的链的结构中推断出来的Pydantic和JSONSchema模式。这可以用于验证输入和输出,是LangServe的一个重要部分。
- 无缝的LangSmith跟踪集成:随着你的链变得越来越复杂,理解在每一步究竟发生了什么变得越来越重要。 使用LCEL,所有步骤都会自动记录到LangSmith,以实现最大的可观察性和可调试性。
- 无缝的LangServe部署集成
LCEL使用
LCEL使得从基本组件构建复杂链条变得容易,并且支持诸如流式处理、并行处理和日志记录等开箱即用的功能。
基本示例
最基本和常见的用例是将提示模板和模型链接到一起。
示例:创建一个链条,它将接收一个主题并生成一个笑话
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
prompt = ChatPromptTemplate.from_template("tell me a short joke about {topic}")
model = ChatOpenAI(model="gpt-3.5-turbo")
output_parser = StrOutputParser()
chain = prompt | model | output_parser
chain.invoke({"topic": "ice cream"})
输出:
'Why did the ice cream truck break down? It had too many "scoops"!'
chain = prompt | model | output_parser
将不同的组件组合成一个单一的链条
|
符号类似于unix管道操作符,它将不同的组件链接在一起,将一个组件的输出作为下一个组件的输入
在这个链条中,用户输入被传递给提示模板,然后提示模板的输出被传递给模型,然后模型的输出被传递给输出解析器。接下来看一下各个组件是如何操作的,以真正理解发生了什么。
组件解析
-
提示
prompt
是一个BasePromptTemplate
,这意味着它接受一个模板变量的字典并生成一个PromptValue
。PromptValue
是一个包装完成的提示的包装器,可以传递给LLM
(以字符串作为输入)或ChatModel
(以消息序列作为输入)。它可以与任何语言模型类型一起使用,因为它定义了生成BaseMessage
和生成字符串的逻辑。prompt_value = prompt.invoke({"topic": "ice cream"}) prompt_value
输出:
ChatPromptValue(messages=[HumanMessage(content='tell me a short joke about ice cream')])
prompt_value.to_messages()
输出:
[HumanMessage(content='tell me a short joke about ice cream')]
prompt_value.to_string()
输出:
'Human: tell me a short joke about ice cream'
-
模型
然后将
PromptValue
传递给model
。在这种情况下,我们的model
是一个ChatModel
,这意味着它将输出一个BaseMessage
。message = model.invoke(prompt_value) message
输出:
AIMessage(content="Why did the ice cream truck break down? It couldn't handle the rocky road!")
-
输出解析器
最后,将
model
的输出传递给output_parser
,它是一个BaseOutputParser
,意味着它可以接受字符串或BaseMessage
作为输入。StrOutputParser
简单地将任何输入转换为字符串。output_parser.invoke(message)
输出:
"Why did the ice cream truck break down? It couldn't handle the rocky road!"
-
整个流程
整个流程的步骤:
- 将用户输入的主题作为
{"topic": "ice cream"}
传入 prompt
组件接受用户输入,然后使用主题构建提示,生成PromptValue
model
组件接受生成的提示,并将其传递给 OpenAI LLM 模型进行评估。模型生成的输出是一个ChatMessage
对象。- 最后,
output_parser
组件接受一个ChatMessage
,将其转换为 Python 字符串,并从invoke
方法返回。
graph LR
A(输入:topic=ice cream) --> |字典| B(PromptTemplate)
B -->|PromptValue| C(ChatModel)
C -->|ChatMessage| D(StrOutputParser)
D --> |字符串| F(结果)
还可以使用
prompt
或prompt | model
查看中间结果。 - 将用户输入的主题作为
RAG搜索示例
这个示例中,运行一个检索增强生成链条,在回答问题时添加一些上下文。
# 需要安装:
# pip install langchain docarray tiktoken
from langchain_community.vectorstores import DocArrayInMemorySearch
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.runnables import RunnableParallel, RunnablePassthrough
from langchain_openai.chat_models import ChatOpenAI
from langchain_openai.embeddings import OpenAIEmbeddings
# 向量数据库存储
vectorstore = DocArrayInMemorySearch.from_texts(
["harrison worked at kensho", "bears like to eat honey"],
embedding=OpenAIEmbeddings(),
)
retriever = vectorstore.as_retriever()
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
model = ChatOpenAI()
output_parser = StrOutputParser()
setup_and_retrieval = RunnableParallel(
{"context": retriever, "question": RunnablePassthrough()}
)
chain = setup_and_retrieval | prompt | model | output_parser
chain.invoke("where did harrison work?")
流程如下:
- 首先,创建一个
RunnableParallel
对象,其中包含两个条目。第一个条目context
将包含检索器检索到的文档结果。第二个条目question
将包含用户的原始问题。为了传递问题,我们使用RunnablePassthrough
来复制该条目。 - 将上述步骤中的字典提供给
prompt
组件。然后,它将用户输入(即question
)以及检索到的文档(即context
)用于构建提示,并输出PromptValue
。 model
组件接受生成的提示,并将其传递给 OpenAI LLM 模型进行评估。模型生成的输出是一个ChatMessage
对象。- 最后,
output_parser
组件接受一个ChatMessage
,将其转换为 Python 字符串,并从invoke
方法返回。
graph LR
A(问题) --> B(RunnableParallel)
B -->|问题| C(检索器)
B -->|问题| D(RunnablePassThrough)
C -->|context=检索到的文档| E(PromptTemplate)
D -->|question=问题| E
E -->|PromptValue| F(ChatModel)
F -->|ChatMessage| G(StrOutputParser)
G --> |字符串| H(结果)