探索OCI数据科学模型部署：从部署到调用的完整指南

最新推荐文章于 2024-10-06 18:39:23 发布

afTFODguAKBF

最新推荐文章于 2024-10-06 18:39:23 发布

阅读量299

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142683683

版权

引言

在现代的数据科学领域，使用云平台进行模型部署已成为一种趋势。Oracle Cloud Infrastructure（OCI）的数据科学服务为团队提供了一种完全托管且无服务器的平台，用于构建、训练和管理机器学习模型。本文将详细介绍如何使用OCI数据科学模型部署的端点，特别是在大规模语言模型（LLM）的应用方面。

主要内容

1. 环境准备

在开始之前，请确保安装了必要的Python库：

!pip3 install oracle-ads

确保在OCI数据科学环境中已部署LLM。对于部署模型的帮助，可以访问Oracle GitHub样本库。

2. 配置访问策略

确保拥有访问OCI数据科学模型部署端点的必要策略。这通常涉及为用户或组设置适当的权限。

3. 设置模型调用参数

使用OCIModelDeploymentVLLM

endpoint: 模型的HTTP端点，例如 https://<MD_OCID>/predict。
model: 模型的位置。

使用OCIModelDeploymentTGI

endpoint: 模型的HTTP端点，例如 https://<MD_OCID>/predict。

4. 认证设置

在使用OCI数据科学笔记本会话时，可以利用资源主体进行认证。此外，可以通过环境变量来设置本地工作站的API密钥。

代码示例

以下代码示例展示了如何调用已部署的LLM：

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置资源主体认证
ads.set_auth("resource_principal")

# 替换为实际的模型终端和模型名称
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)

如果使用环境变量进行身份验证：

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"

# 实例化模型部署端点
llm = OCIModelDeploymentTGI()

# 调用LLM
response = llm.invoke("Who is the first president of United States?")
print(response)