解锁OCI数据科学模型部署的潜力：从入门到精通-CSDN博客

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/144131722

引言

在现代数据驱动的世界中，机器学习模型的部署是实现业务价值的关键步骤。Oracle Cloud Infrastructure (OCI) 提供了一种无服务器且完全托管的数据科学平台，称为OCI Data Science，旨在帮助数据科学团队构建、训练和管理机器学习模型。本篇文章将深入探讨如何在OCI Data Science Model Deployment中使用大型语言模型（LLM），并提供实际代码示例来帮助您快速上手。

主要内容

前提条件

部署模型

在开始之前，确保您的LLM已经在OCI Data Science Model Deployment上部署。您可以参考 Oracle GitHub 样例仓库以获取详细的部署指南。

配置策略

确保您具备访问OCI Data Science Model Deployment端点的必要策略权限。

设置

使用VLLM

在模型部署后，您需要设置以下OCIModelDeploymentVLLM调用所需的参数：

endpoint：从已部署模型获取的HTTP端点，例如，https://<MD_OCID>/predict。
model：模型的位置。

文本生成推理（TGI）

要使用OCIModelDeploymentTGI调用，您需要设置以下参数：

endpoint：从已部署模型获取的HTTP端点，例如，https://<MD_OCID>/predict。

认证

您可以通过oracle-ads或环境变量来设置认证。当您在OCI Data Science Notebook Session中工作时，可以利用资源主体来访问其他OCI资源。

代码示例

以下是两个完整的代码示例，展示如何使用VLLM和TGI在OCI上调用LLM。

import ads
from langchain_community.llms import OCIModelDeploymentVLLM

# 设置通过资源主体认证
ads.set_auth("resource_principal")

# 创建OCI Model Deployment Endpoint实例
# 请将<MD_OCID>替换为您的实际端点
llm = OCIModelDeploymentVLLM(endpoint="https://<MD_OCID>/predict", model="model_name")

# 执行LLM调用
llm.invoke("Who is the first president of United States?")

import os
from langchain_community.llms import OCIModelDeploymentTGI

# 设置环境变量以进行认证
os.environ["OCI_IAM_TYPE"] = "api_key"
os.environ["OCI_CONFIG_PROFILE"] = "default"
os.environ["OCI_CONFIG_LOCATION"] = "~/.oci"

# 设置端点URI
os.environ["OCI_LLM_ENDPOINT"] = "https://<MD_OCID>/predict"

# 创建OCI Model Deployment Endpoint实例
llm = OCIModelDeploymentTGI()

# 执行LLM调用
llm.invoke("Who is the first president of United States?")