在Oracle云基础设施上部署LLM模型：从入门到调用

最新推荐文章于 2025-04-24 14:44:41 发布

akhfuiigabv

最新推荐文章于 2025-04-24 14:44:41 发布

阅读量578

点赞数 8

文章标签： oracle 数据库 python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/143378956

版权

# 在Oracle云基础设施上部署LLM模型：从入门到调用

## 引言

Oracle Cloud Infrastructure (OCI) Data Science 是一个全托管的无服务器平台，专为数据科学团队设计，以便在云中构建、训练和管理机器学习模型。在这篇文章中，我们将介绍如何在OCI Data Science Model Deployment上使用预置的大型语言模型（LLM），并提供详细的步骤和代码示例。

## 主要内容

### 先决条件

在开始之前，您需要确保已成功在OCI Data Science Model Deployment上部署了您的LLM模型。您可以参考Oracle的GitHub示例库获取如何在OCI上部署模型的步骤。

### 授权策略

访问OCI Data Science Model Deployment端点时，您需要确保已经具备正确的策略授权。具体的策略信息可以通过OCI控制台查看。

### 环境设置

#### vLLM 设置

在成功部署模型后，您需要设置以下`OCIModelDeploymentVLLM`调用所需的参数：

- `endpoint`: 从已部署模型获取的HTTP端点，例如`https://<MD_OCID>/predict`。
- `model`: 模型的具体位置。

#### 文本生成推理 (TGI) 设置

对于`OCIModelDeploymentTGI`调用，您需要设置以下参数：

- `endpoint`: 已部署模型的HTTP端点，例如`https://<MD_OCID>/predict`。

### 认证

您可以通过`ads`库或环境变量来进行认证。如果在OCI Data Science Notebook Session中工作，您可以