使用Baidu Qianfan与Langchain进行文本嵌入：实用指南

最新推荐文章于 2024-11-09 07:32:36 发布

sjufgwgfhoia

最新推荐文章于 2024-11-09 07:32:36 发布

阅读量558

点赞数 3

文章标签： langchain python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142732794

版权

使用Baidu Qianfan与Langchain进行文本嵌入：实用指南

引言

在现代AI开发中，Baidu Qianfan平台为企业开发者提供了一站式的大模型开发和服务运营解决方案。本文将介绍如何使用Langchain库与Qianfan平台进行文本嵌入，帮助您更有效地开发AI应用程序。

主要内容

1. 什么是Baidu Qianfan？

Baidu Qianfan是百度AI云推出的平台，提供了多种AI开发工具和环境，支持包括文心一言（ERNIE-Bot）在内的多种模型。本平台特别适合需要大规模模型应用的企业开发者。

2. 嵌入模型简介

嵌入模型是将文本转换为向量的工具，在自然语言处理任务中尤为重要。Langchain的embeddings模块支持与Qianfan平台的集成，使得文本嵌入任务变得更加简单和高效。

3. API初始化

要使用Baidu Qianfan的LLM服务，您需要初始化以下参数。可以选择通过环境变量或直接在代码中初始化。

import os
from langchain_community.embeddings import QianfanEmbeddingsEndpoint

# 设置API密钥为环境变量
os.environ["QIANFAN_AK"] = "your_ak"
os.environ["QIANFAN_SK"] = "your_sk"

# 初始化嵌入终端
embed = QianfanEmbeddingsEndpoint(
    # qianfan_ak='xxx', # 可选，已通过环境变量设置
    # qianfan_sk='xxx'  # 可选，已通过环境变量设置
)

代码示例

以下是一个使用Langchain与Qianfan嵌入文本的完整示例：

import os
from langchain_community.embeddings import QianfanEmbeddingsEndpoint

# 使用API代理服务提高访问稳定性
os.environ["QIANFAN_AK"] = "your_ak"
os.environ["QIANFAN_SK"] = "your_sk"

embed = QianfanEmbeddingsEndpoint()

# 同步嵌入文档
res = embed.embed_documents(["hi", "world"])
print(res)

# 异步嵌入查询
async def aioEmbed():
    res = await embed.aembed_query("qianfan")
    print(res[:8])

# 调用异步函数
await aioEmbed()

# 异步嵌入文档集
async def aioEmbedDocs():
    res = await embed.aembed_documents(["hi", "world"])
    for r in res:
        print("", r[:8])

await aioEmbedDocs()