使用IBM Watsonx.ai和LangChain进行高效AI模型调用

dsndnwfk

于 2024-10-06 16:57:09 发布

阅读量309

点赞数 1

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/dsndnwfk/article/details/142729075

版权

引言

在人工智能领域，IBM的Watsonx.ai提供了一套强大的基础模型，可以通过LangChain库轻松调用这些模型。本文将介绍如何设置和使用Watsonxai模型，并提供代码示例，帮助你快速上手。同时，我们将讨论在使用过程中可能遇到的挑战，并提供相关解决方案和学习资源。

主要内容

设置环境

要开始使用Watsonx.ai，你需要安装langchain-ibm包。可以通过以下命令快速安装：

!pip install -qU langchain-ibm

接下来，需要定义IBM Cloud的用户API密钥以访问Watsonx Foundation Model服务：

import os
from getpass import getpass

watsonx_api_key = getpass()  # 输入你的API密钥
os.environ["WATSONX_APIKEY"] = watsonx_api_key

此外，还可以通过环境变量传递其他必要的凭证：

os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"

加载模型

你可以根据不同任务调整模型参数：

parameters = {
    "decoding_method": "sample",
    "max_new_tokens": 100,
    "min_new_tokens": 1,
    "temperature": 0.5,
    "top_k": 50,
    "top_p": 1,
}

初始化WatsonxLLM类：

from langchain_ibm import WatsonxLLM

watsonx_llm = WatsonxLLM(
    model_id="ibm/granite-13b-instruct-v2",
    url="https://us-south.ml.cloud.ibm.com",  # 使用API代理服务提高访问稳定性
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=parameters,
)

创建模版

要生成随机问题，可以创建PromptTemplate对象：

from langchain_core.prompts import PromptTemplate

template = "Generate a random question about {topic}: Question: "
prompt = PromptTemplate.from_template(template)

topic = "dog"
llm_chain = prompt | watsonx_llm
llm_chain.invoke(topic)

代码示例

以下是调用模型并直接生成文本的示例：

# 单个提示调用
response = watsonx_llm.invoke("Who is man's best friend?")
print(response)

# 多个提示生成
responses = watsonx_llm.generate(
    [
        "The fastest dog in the world?",
        "Describe your chosen dog breed",
    ]
)
for res in responses.generations:
    for gen in res:
        print(gen.text)