如何利用Gradient Embeddings提升Langchain模型的效果

最新推荐文章于 2024-10-06 14:44:47 发布

akhfuiigabv

最新推荐文章于 2024-10-06 14:44:47 发布

阅读量292

点赞数 5

文章标签： langchain python

本文链接：https://blog.csdn.net/akhfuiigabv/article/details/142378714

版权

引言

在当今的AI领域，Embedding是提升自然语言处理模型性能的重要工具。Gradient提供了一个简单易用的API，使开发者能够轻松创建Embeddings，微调模型以及使用大型语言模型（LLMs）实现文本补全。本文将介绍如何结合Langchain使用Gradient Embeddings，并提供一个完整的代码示例来展示其具体应用。

主要内容

1. 设置环境

在开始之前，请确保您已经获得了Gradient AI的API密钥。新用户可以获取$10的免费额度用于测试和微调模型。

import os
from getpass import getpass

if not os.environ.get("GRADIENT_ACCESS_TOKEN", None):
    # Access token under https://auth.gradient.ai/select-workspace
    os.environ["GRADIENT_ACCESS_TOKEN"] = getpass("gradient.ai access token:")
if not os.environ.get("GRADIENT_WORKSPACE_ID", None):
    # `ID` listed in `$ gradient workspace list`
    os.environ["GRADIENT_WORKSPACE_ID"] = getpass("gradient.ai workspace id:")

2. 安装必要的库

确保安装并升级gradientai包，以便使用最新功能。

%pip install --upgrade --quiet gradientai

3. 创建Gradient实例

我们将使用Langchain和Gradient的结合来为文本生成Embeddings。

from langchain_community.embeddings import GradientEmbeddings

documents = [
    "Pizza is a dish.",
    "Paris is the capital of France",
    "numpy is a lib for linear algebra",
]
query = "Where is Paris?"

embeddings = GradientEmbeddings(model="bge-large")

4. 执行文本嵌入

对文档和查询进行嵌入，计算相似度。

documents_embedded = embeddings.embed_documents(documents)
query_result = embeddings.embed_query(query)

# (demo) compute similarity
import numpy as np

scores = np.array(documents_embedded) @ np.array(query_result).T
dict(zip(documents, scores))