[轻松升级：从LLMRouterChain迁移到LCEL实现]

最新推荐文章于 2024-09-26 11:55:47 发布

sjufgwgfhoia

最新推荐文章于 2024-09-26 11:55:47 发布

阅读量251

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142551901

版权

## 引言

在复杂的自然语言处理任务中，如何高效地路由输入到合适的模型是一个重要的问题。过去，我们使用`LLMRouterChain`来选择目的地，但是随着AI技术的发展，以及聊天模型对工具调用功能的支持，我们可以使用更现代的LCEL（Langchain Enhanced Chat Language）实现来提升性能和功能。

## 主要内容

### LLMRouterChain的工作原理

`LLMRouterChain`通过让大语言模型（LLM）生成JSON格式的文本来选择目的地，然后解析出目标。虽然这是一个有效的方法，但不支持如角色分配和工具调用等常见聊天模型功能，这限制了其灵活性。

### LCEL实现的优势

LCEL通过支持结构化输出和工具调用功能，带来了显著优势：
- **支持系统和用户消息的模板化**：允许更灵活的提示设计。
- **工具调用模型的调优**：帮助生成更具结构性的输出。
- **支持流式和异步操作**：提高了任务运行的效率。

### 安装和环境设置

首先确保安装了所需的版本：
```bash
%pip install -qU langchain-core langchain-openai

然后设置API密钥：

import os
from getpass import getpass

os.environ["OPENAI_API_KEY"] = getpass()  # 使用API代理服务提高访问稳定性

代码示例

下面的示例展示了如何使用LCEL实现相同的路由功能。

from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI
from typing_extensions import TypedDict
from typing import Literal

llm = ChatOpenAI(model="gpt-4o-mini")

route_system = "Route the user's query to either the animal or vegetable expert."
route_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", route_system),
        ("human", "{input}"),
    ]
)

class RouteQuery(TypedDict):
    destination: Literal["animal", "vegetable"]

chain = route_prompt | llm.with_structured_output(RouteQuery)

result = chain.invoke({"input": "What color are carrots?"})

print(result["destination"])  # 输出: vegetable