使用LangChain与ChatPremAI：提升应用开发效率的完整指南

jaioyfpo

于 2024-10-02 12:32:37 发布

阅读量271

点赞数 2

文章标签： langchain 前端 microsoft python

本文链接：https://blog.csdn.net/jaioyfpo/article/details/142680193

版权

引言

在当今生成式AI的时代，开发者们希望能够快速构建强大、可投入生产的应用程序。PremAI便是这样一个平台，它简化了应用程序的开发过程。而本文将探讨如何使用LangChain与ChatPremAI进行交互，从而更高效地构建聊天模型。

主要内容

安装和设置

首先，我们需要安装langchain和premai-sdk。可以通过以下命令进行安装：

pip install premai langchain

确保你已在PremAI上创建账号并建立项目，获取API密钥。

from langchain_community.chat_models import ChatPremAI
from langchain_core.messages import HumanMessage, SystemMessage
import getpass
import os

if os.environ.get("PREMAI_API_KEY") is None:
    os.environ["PREMAI_API_KEY"] = getpass.getpass("PremAI API Key:")

chat = ChatPremAI(project_id=1234, model_name="gpt-4o")  # 使用API代理服务提高访问稳定性

聊天补全

ChatPremAI支持invoke和stream两种方法。以下是invoke的示例：

human_message = HumanMessage(content="Who are you?")
response = chat.invoke([human_message])
print(response.content)

默认的系统提示可以通过SystemMessage覆盖：

system_message = SystemMessage(content="You are a friendly assistant.")
chat.invoke([system_message, human_message])

Prem Repositories

Prem Repositories允许用户上传文档并连接到LLMs。以下是如何使用LangChain进行连接的示例：

query = "Which models are used for dense retrieval"
repositories = dict(ids=[1985], similarity_threshold=0.3, limit=3)
response = chat.invoke(query, max_tokens=100, repositories=repositories)
print(response.content)

模板及流式传输

编写和管理提示可以通过Prem的Templates功能变得更加简单。在流式传输中，可以通过以下方式逐段接收响应：

import sys

for chunk in chat.stream("hello how are you"):
    sys.stdout.write(chunk.content)
    sys.stdout.flush()

工具/函数调用

使用LangChain，ChatPremAI支持工具或函数调用：

from langchain_core.pydantic_v1 import BaseModel, Field
from langchain_core.tools import tool

class OperationInput(BaseModel):
    a: int = Field(description="First number")
    b: int = Field(description="Second number")

@tool("add", args_schema=OperationInput, return_direct=True)
def add(a: int, b: int) -> int:
    return a + b

@tool("multiply", args_schema=OperationInput, return_direct=True)
def multiply(a: int, b: int) -> int:
    return a * b