【深入探讨AscendEmbeddings：提升文本搜索与匹配能力】-CSDN博客

本文链接：https://blog.csdn.net/mmlihaio/article/details/142686014

引言

在自然语言处理领域，文本搜索与匹配是一个非常重要的应用场景。而Embedding技术能够有效地将文本转化为向量，便于进行各种计算操作。在本文中，我们将深入探讨如何使用AscendEmbeddings来实现高效的文本嵌入，以及其在文本搜索中的应用。

主要内容

AscendEmbeddings简介

AscendEmbeddings是一个高级的文本嵌入模型，能够将文本转换为向量形式。这些向量可以用于文本相似度搜索、聚类、分类等任务。通过利用深度学习模型进行训练，AscendEmbeddings可以生成高质量的文本表示。

使用AscendEmbeddings

在使用AscendEmbeddings时，开发者需要指定模型路径和设备ID。为了提升网络访问的稳定性，尤其是在某些地区的访问限制情况下，可以考虑使用API代理服务。

注意事项

在使用嵌入方法时，关注attention_mask参数是一个好习惯，尤其是处理经过填充的文本输入时。

代码示例

以下是一个利用AscendEmbeddings进行文本嵌入的完整示例：

from langchain_community.embeddings import AscendEmbeddings

# 使用API代理服务提高访问稳定性
model = AscendEmbeddings(
    model_path="/root/.cache/modelscope/hub/yangjhchs/acge_text_embedding",
    device_id=0,
    query_instruction="Represent this sentence for searching relevant passages: ",
)

# 嵌入单个查询句子
emb = model.embed_query("hello")
print(emb)

# 嵌入文档集合
doc_embs = model.embed_documents(
    ["This is a content of the document", "This is another document"]
)
print(doc_embs)

在异步环境中，可以使用aembed_query和aembed_documents进行异步操作：

import asyncio

async def async_embeddings_example():
    emb = await model.aembed_query("hello")
    print(emb)

    doc_embs = await model.aembed_documents(
        ["This is a content of the document", "This is another document"]
    )
    print(doc_embs)

# 运行异步示例
asyncio.run(async_embeddings_example())