探索IBM Watsonx.ai与LangChain的集成：一个全面指南

最新推荐文章于 2024-10-01 10:31:36 发布

nseejrukjhad

最新推荐文章于 2024-10-01 10:31:36 发布

阅读量238

点赞数 3

文章标签：人工智能 langchain python

本文链接：https://blog.csdn.net/nseejrukjhad/article/details/142373286

版权

引言

在AI技术的飞速发展中，IBM的Watsonx.ai以其强大的功能和灵活性在众多AI平台中脱颖而出。本篇文章旨在介绍如何使用LangChain与IBM Watsonx.ai进行集成，帮助开发者充分发挥Watsonx Foundation Model的潜力。

主要内容

设置环境

首先，确保安装langchain-ibm包：

!pip install -qU langchain-ibm

设置WML凭证

为了使用Watsonx Foundation Model进行推理，需要提供IBM Cloud用户API密钥。

import os
from getpass import getpass

watsonx_api_key = getpass()
os.environ["WATSONX_APIKEY"] = watsonx_api_key

此外，还可以将其他机密信息作为环境变量传递。

os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"

加载模型

根据任务的不同，可能需要调整模型参数。

parameters = {
    "decoding_method": "sample",
    "max_new_tokens": 100,
    "min_new_tokens": 1,
    "temperature": 0.5,
    "top_k": 50,
    "top_p": 1,
}

初始化WatsonxLLM类，并添加项目ID或空间ID。

from langchain_ibm import WatsonxLLM

watsonx_llm = WatsonxLLM(
    model_id="ibm/granite-13b-instruct-v2",
    url="https://us-south.ml.cloud.ibm.com",  # 使用API代理服务提高访问稳定性
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=parameters,
)

创建链

创建PromptTemplate对象，用于生成随机问题。

from langchain_core.prompts import PromptTemplate

template = "Generate a random question about {topic}: Question: "
prompt = PromptTemplate.from_template(template)

llm_chain = prompt | watsonx_llm

topic = "dog"
llm_chain.invoke(topic)

直接调用模型

使用字符串提示直接调用模型以获得完成。

# 单个提示调用
watsonx_llm.invoke("Who is man's best friend?")

# 多个提示调用
watsonx_llm.generate([
    "The fastest dog in the world?",
    "Describe your chosen dog breed",
])