探索OCI数据科学模型部署端点：一种无缝集成LLM的方法

最新推荐文章于 2024-10-02 10:53:34 发布

afTFODguAKBF

最新推荐文章于 2024-10-02 10:53:34 发布

阅读量412

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142373382

版权

# 引言

在现代数据科学项目中，构建、训练和管理机器学习模型往往需要强大的平台支持。Oracle云基础设施（OCI）的数据科学平台提供了一种无服务器的解决方案，使得数据科学团队能够高效地部署和管理模型。在本文中，我们将探讨如何利用OCI数据科学模型部署端点，结合大语言模型（LLM）来实现智能推理。

# 主要内容

## 1. 准备工作

在开始之前，确保您已完成模型的部署。可以参考[Oracle GitHub样例库](https://github.com/oracle-samples)获取如何在OCI数据科学模型部署中部署您的LLM。

### 1.1 安装Oracle ADS

首先，确保安装了`oracle-ads`库，它可以帮助自动加载凭据以调用端点。

```bash
!pip3 install oracle-ads

2. 必要设置

2.1 vLLM配置

在部署模型后，需设置以下参数：

endpoint: 模型的HTTP端点，例如 https://<MD_OCID>/predict
model: 模型的位置

2.2 文本生成推理 (TGI) 配置

设置以下参数：

endpoint: 模型的HTTP端点

3. 身份验证

身份验证可以通过ads或环境变量进行设置。在OCI数据科学笔记本会话中，可以利用资源主体访问其他OCI资源。

4. 代码示例

以下是两个完整的代码示例，展示了如何通过OCI的模型部署端点调用大语言模型。

示例1：使用资源主体进行身份验证

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置通过ads进行身份验证
# 在OCI服务中操作，已配置资源主体的身份验证
ads.set_auth("resource_principal")

# 创建OCI模型部署端点实例
# 替换为您的端点URI和模型名称
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# 运行LLM
llm.invoke("Who is the first president of United States?")

示例2：使用API Key进行身份验证

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量进行身份验证
# 使用API Key设置在不支持资源主体的平台上
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置环境变量中的端点
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"

# 创建OCI模型部署端点实例
llm = OCIModelDeploymentTGI()

# 运行LLM
llm.invoke("Who is the first president of United States?")