探索AI21的Chat模型及其在LangChain中的集成

sjufgwgfhoia

于 2024-10-06 09:12:04 发布

阅读量123

点赞数 2

文章标签： langchain python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142722835

版权

引言

在人工智能领域，聊天模型的应用越来越广泛。AI21推出的Chat模型提供了强大的自然语言处理能力，特别是在翻译、对话生成等任务中表现优异。本文旨在帮助读者了解如何使用AI21的Chat模型，并在Python的LangChain包中进行集成。

主要内容

API简介

AI21的Chat模型支持多种功能，包括工具调用、结构化输出等。但是，不支持图像、音频、视频输入。该模型还支持令牌级别的流处理和异步调用。

设置环境

使用AI21的API需要API密钥。这可以通过设置环境变量来实现：

import os
from getpass import getpass

# 设置AI21 API密钥
os.environ["AI21_API_KEY"] = getpass()

# 可选：设置LangSmith API密钥以获取自动跟踪
# os.environ["LANGCHAIN_TRACING_V2"] = "true"
# os.environ["LANGCHAIN_API_KEY"] = getpass()

安装及模型实例化

安装langchain-ai21包以使用AI21的功能：

!pip install -qU langchain-ai21

实例化模型对象以生成对话：

from langchain_ai21 import ChatAI21

# 创建模型对象
llm = ChatAI21(model="jamba-instruct", temperature=0)

API调用及链式操作

基本调用

可以通过以下方式调用模型：

messages = [
    (
        "system",
        "You are a helpful assistant that translates English to French. Translate the user sentence.",
    ),
    ("human", "I love programming."),
]

# 生成翻译
ai_msg = llm.invoke(messages)
print(ai_msg.content)

链式调用

使用Prompt Template实现链式调用：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

chain = prompt | llm
output = chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "I love programming.",
    }
)

print(output.content)