【LangChain】langchain_huggingface.HuggingFaceEmbeddings：基于Hugging Face的 Transformer 的嵌入（embedding）模型类

于 2025-05-07 10:14:33 发布
阅读量878 收藏 23
点赞数 18
分类专栏： LangChain 文章标签： langchain transformer embedding Hugging Face
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013172930/article/details/147754731
版权

langchain_huggingface.HuggingFaceEmbeddings是 LangChain 提供的一个嵌入（embedding）模型类，用于将文本转换为向量表示，基于 Hugging Face 的 Transformer 模型。

本文基于 LangChain 0.3.x，详细介绍 langchain_huggingface.HuggingFaceEmbeddings 的初始化、方法、参数和典型场景，并提供一个独立示例，展示如何使用 HuggingFaceEmbeddings 结合 langchain_milvus.Milvus 分割 PDF 文档并构建文本检索系统，示例使用 Hugging Face 的 sentence-transformers/all-MiniLM-L6-v2 模型。

HuggingFaceEmbeddings 简介

langchain_huggingface.HuggingFaceEmbeddings 是 LangChain 的嵌入模型类，继承自 langchain_core.embeddings.Embeddings，通过 Hugging Face 的 sentence-transformers 或 transformers 库加载预训练模型，生成文本的向量表示。它适合本地或云端场景，广泛用于语义搜索、RAG（Retrieval-Augmented Generation）系统和向量存储。

核心功能：

  • 将文本（查询或文档）转换为固定维度的向量。
  • 支持 Hugging Face 的多种预训练模型（如 sentence-transformers）。
  • 高效推理，兼容 CPU 和 GPU（通过 PyTorch 或 TensorFlow）。
  • 集成 LangChain 的向量存储（如 langchain_milvus.Milvus）。

适用场景：

  • 语义搜索或文本检索。
  • RAG 系统，结合向量存储和 LLM。
  • 本地嵌入生成，减少对云服务的依赖。
  • 多语言支持，处理非英语文本。

与 LlamaCppEmbeddings 对比：

  • HuggingFaceEmbeddings：基于 Hugging Face 模型，模型选择多样，支持多语言，易于部署。
  • LlamaCppEmbeddings：基于 GGUF 格式的 LLaMA 模型，适合隐私敏感场景，但模型选择较少。

初始化和配置

HuggingFaceEmbeddings 使用 Hugging Face 的预训练模型生成嵌入向量。以下是初始化和配置的关键点。

1. 安装依赖
pip install --upgrade langchain langchain-huggingface langchain-milvus pymilvus sentence-transformers
  • 示例依赖（PDF 加载、分割）：
    pip install pypdf
  • GPU 支持（可选，需 PyTorch 和 CUDA）：
    pip install torch --index-url https://download.pytorch.org/whl/cu121
2. 选择 Hugging Face 模型
  • 推荐模型：
    • sentence-transformers/all-MiniLM-L6-v2：轻量（384 维），速度快，适合英语。
    • sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2：多语言支持，384 维。
    • BAAI/bge-large-en-v1.5：高性能英语模型，1024 维。
  • 模型下载：Hugging Face 模型会自动从 Hugging Face Hub 下载并缓存（~/.cache/huggingface）。
  • 验证：确保网络连接或本地模型可用：
    from huggingface_hub import snapshot_download
snapshot_download(repo_id="sentence-transformers/all-MiniLM-L6-v2")
3. 初始化 HuggingFaceEmbeddings

常用初始化参数：

  • model_name（str，默认 sentence-transformers/all-MiniLM-L6-v2）：Hugging Face 模型名称或本地路径。
  • model_kwargs（dict，默认 {}）：模型配置，如 device（"cpu"、"cuda"）。
  • encode_kwargs（dict，默认 {}）：编码参数，如 normalize_embeddings（归一化嵌入）。
  • multi_process（bool，默认 False）：是否启用多进程推理（需更多内存）。
  • show_progress（bool，默认 False）：是否显示推理进度条。

示例初始化（CPU）：

from langchain_huggingface import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2",
    model_kwargs={"device": "cpu"},
    encode_kwargs={"normalize_embeddings": True}
)

GPU 配置（若有 GPU）：

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2",
    model_kwargs={"device": "cuda"},
    encode_kwargs={"normalize_embeddings": True}
)

多语言模型：

embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
    model_kwargs={"device": "cpu"}
)

注意：

  • 嵌入维度由模型决定（如 all-MiniLM-L6-v2 为 384），不可直接设置。
  • GPU 推理需安装 PyTorch CUDA 版本并确保 GPU 可用：
    import torch
print(torch.cuda.is_available())  # 输出: True

常用方法

以下是 HuggingFaceEmbeddings 的核心方法，基于源码（langchain_huggingface/embeddings/huggingface.py）和官方文档（HuggingFaceEmbeddings）。

embed_query(text: str) -> List[float]
  • 功能：将单个查询文本转换为嵌入向量。
  • 参数：
    • text：输入文本字符串。
  • 返回值：List[float]，嵌入向量（如 384 维）。
  • 使用场景：
    • 语义搜索，生成查询向量。
    • 测试嵌入质量。
  • 示例：
    vector = embeddings.embed_query("什么是机器学习？")
print(len(vector))  # 输出: 384
embed_documents(texts: List[str]) -> List[List[float]]
  • 功能：将多个文档文本批量转换为嵌入向量。
  • 参数：
    • texts：文本字符串列表。
  • 返回值：List[List[float]]，每个文本的嵌入向量列表。
  • 使用场景：
    • 构建向量存储，存储文档嵌入。
    • 批量处理文本。
  • 示例：
    vectors = embeddings.embed_documents(["机器学习是...", "深度学习是..."])
print(len(vectors))  # 输出: 2
print(len(vectors[0]))  # 输出: 384
方法总结
方法功能典型场景
embed_query生成查询嵌入语义搜索
embed_documents批量生成文档嵌入向量存储

推荐方法：

  • embed_query：生成查询向量，适合搜索。
  • embed_documents：批量生成文档向量，适合向量存储。

注意：

  • HuggingFaceEmbeddings 未提供异步方法（如 aembed_query），若需异步，可使用 asyncio 包装：
    import asyncio
async def async_embed(text):
    return embeddings.embed_query(text)

使用 HuggingFaceEmbeddings 的文本检索示例

以下是一个独立示例，展示如何使用 HuggingFaceEmbeddings 结合 langchain.text_splitter.RecursiveCharacterTextSplitter 和 langchain_milvus.Milvus 分割 PDF 文档，生成嵌入并构建文本检索系统。

准备文件：

  • PDF 文件：创建 PDF 文件 machine_learning_knowledge.pdf，内容如下（可使用 Word 保存为 PDF）：
    机器学习是人工智能的一个分支。
它包括监督学习、无监督学习和强化学习。
机器学习的应用包括图像识别、推荐系统和自然语言处理。

代码：

from langchain_huggingface import HuggingFaceEmbeddings
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_milvus import Milvus
from langchain_community.document_loaders import PyPDFLoader

# 初始化 HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(
    model_name="sentence-transformers/all-MiniLM-L6-v2",
    model_kwargs={"device": "cpu"},
    encode_kwargs={"normalize_embeddings": True}
)

# 初始化 RecursiveCharacterTextSplitter
splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    separators=["\n\n", "\n", " ", ""],
    keep_separator=False
)

# 加载 PDF 文档
loader = PyPDFLoader(file_path="machine_learning_knowledge.pdf")
documents = loader.load()

# 分割文档
split_documents = splitter.split_documents(documents)

# 初始化 Milvus 向量存储
vectorstore = Milvus(
    embedding_function=embeddings,
    connection_args={"uri": "http://localhost:19530"},
    collection_name="machine_learning_collection",
    drop_old=True,
    auto_id=True
)

# 存储文档嵌入
vectorstore.add_documents(split_documents)

# 执行检索
print("检索结果：")
query = "机器学习有哪些应用？"
results = vectorstore.similarity_search(query, k=2)
for doc in results:
    print(f"- {doc.page_content} (Source: {doc.metadata['source']})")

输出示例：

检索结果：
- 机器学习的应用包括图像识别、推荐系统和自然语言处理。 (Source: machine_learning_knowledge.pdf)
- 机器学习是人工智能的一个分支。 (Source: machine_learning_knowledge.pdf)
代码说明
  1. 嵌入模型：
    • HuggingFaceEmbeddings 加载 sentence-transformers/all-MiniLM-L6-v2，生成 384 维嵌入。
    • 配置 device="cpu"、normalize_embeddings=True。
  2. 文本分割：
    • RecursiveCharacterTextSplitter 设置 chunk_size=100、chunk_overlap=20。
    • 分割 PDF 文档，保留元数据。
  3. 文档加载：
    • PyPDFLoader 加载 machine_learning_knowledge.pdf。
  4. 向量存储：
    • Milvus 使用 connection_args={"uri": "http://localhost:19530"}，集合名为 machine_learning_collection。
    • 显式设置 dimension=384（匹配模型嵌入维度）。
  5. 检索：
    • 使用 similarity_search 查找与查询最相似的 2 个块。
  6. 主题：
    • 示例聚焦机器学习检索，简单且独立。

运行要求：

  • Milvus 服务运行：
    docker run -d --name milvus_standalone -p 19530:19530 -p 9091:9091 milvusdb/milvus:latest
  • PDF 文件 machine_learning_knowledge.pdf 存在。
  • 安装依赖：
    pip install --upgrade langchain langchain-huggingface langchain-milvus pymilvus sentence-transformers pypdf
  • 硬件支持：CPU 即可运行，GPU 可加速（需 PyTorch CUDA）。

注意事项

  1. 模型选择：
    • 轻量模型：all-MiniLM-L6-v2（384 维，约 80MB），适合快速部署。
    • 高性能模型：BAAI/bge-large-en-v1.5（1024 维，约 1GB），精度更高。
    • 多语言：paraphrase-multilingual-MiniLM-L12-v2，支持中文等语言。
    • 验证模型：
      vector = embeddings.embed_query("测试")
print(len(vector))  # 输出: 384
  2. 硬件要求：
    • CPU：大多数模型运行良好，4GB+ RAM。
    • GPU：加速推理，需 CUDA 和 PyTorch：
      nvidia-smi
  3. Milvus 配置：
    • 验证服务：
      curl http://localhost:19530
    • 非本地部署：
      connection_args={"uri": "http://your-milvus-host:19530"}
    • 维度匹配：确保 dimension 与模型嵌入维度一致（all-MiniLM-L6-v2 为 384）。
  4. 性能优化：
    • 推理速度：
      • 启用 GPU：model_kwargs={"device": "cuda"}。
      • 使用轻量模型（如 all-MiniLM-L6-v2）。
    • 批量处理：
      • embed_documents 支持批量生成：
        vectors = embeddings.embed_documents([doc.page_content for doc in split_documents])
    • 归一化：
      • 设置 normalize_embeddings=True 提高检索一致性。
  5. 错误调试：
    • 模型加载失败：
      • 检查网络连接或本地模型路径：
        from huggingface_hub import snapshot_download
snapshot_download(repo_id="sentence-transformers/all-MiniLM-L6-v2")
      • 确保内存足够。
    • 维度不匹配：
      • 验证 Milvus 集合维度：
        vectorstore = Milvus(..., dimension=384)
    • 检索无关：
      • 调整 chunk_size 和 chunk_overlap：
        splitter = RecursiveCharacterTextSplitter(chunk_size=200, chunk_overlap=40)
      • 增加 k：
        results = vectorstore.similarity_search(query, k=3)

常见问题

Q1：如何选择合适的 Hugging Face 模型？
A：

  • 英语：all-MiniLM-L6-v2（轻量）、BAAI/bge-large-en-v1.5（高性能）。
  • 多语言：paraphrase-multilingual-MiniLM-L12-v2。
  • 自定义：从 Hugging Face Hub 选择特定模型：
    embeddings = HuggingFaceEmbeddings(model_name="your-model")

Q2：HuggingFaceEmbeddings 的嵌入维度如何确定？
A：由模型决定（如 all-MiniLM-L6-v2 为 384）。验证：

vector = embeddings.embed_query("测试")
print(len(vector))

Q3：可以结合 RAG 吗？
A：可以，使用 HuggingFaceEmbeddings 生成嵌入，结合 LLM：

from langchain_huggingface import HuggingFacePipeline
from langchain_core.prompts import PromptTemplate
llm = HuggingFacePipeline.from_model_id(model_id="gpt2", task="text-generation")
prompt = PromptTemplate(
    template="上下文：{context}\n问题：{question}\n回答：",
    input_variables=["context", "question"]
)
chain = (
    {"context": vectorstore.as_retriever() | lambda docs: "\n".join(d.page_content for d in docs), "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

Q4：如何加速嵌入生成？
A：

  • 启用 GPU：model_kwargs={"device": "cuda"}。
  • 使用轻量模型（如 all-MiniLM-L6-v2）。
  • 启用多进程：multi_process=True（需更多内存）。

总结

langchain_huggingface.HuggingFaceEmbeddings 是一个灵活的嵌入模型，基于 Hugging Face 的预训练模型，适合本地和云端场景。核心功能包括：

  • 方法：embed_query（查询嵌入）、embed_documents（批量嵌入）。
  • 参数：model_name（模型选择）、model_kwargs（设备）、encode_kwargs（归一化）。
  • 使用方式：初始化 Hugging Face 模型，生成嵌入，结合向量存储（如 Milvus）。
langchain 模型加载HuggingFaceEmbeddings、文本切割RecursiveCharacterTextSplitter与向量数据库使用FAISS
weixin_42357472的博客
10-11 3884
参考： https://github.com/TommyTang930/LangChain_LLM_ChatBot https://python.langchain.com/docs/integrations/vectorstores/faiss这里对着类进行了改写，对中文切分更友好 用于后续输入的就是chunks，是一个列表对于HuggingFace上的模型可以加载用作文本向量模型；这里加载的下载好的离线模型text2vec-base-chinese 3、向量数据库使用FAISS embedding就是上
Langchain使用介绍之 - 基于向量存储进行检索
qiaotl的博客
09-05 7593
通过实际代码例子介绍如何将文本的向量进行存储，然后存储的向量检索答案
LangChain上使用huggingface的embedding模型（如jina-embeddings-v3）
weixin_44737922的博客
11-06 1497
embedding将文本映射到稠密的向量空间中，方便存储和查询。这里结合自己的应用场景，选择1b以下的embedding模型，综合考量下选择arkohut/jina-embeddings-v3下载使用模型卡片提供的命令，用cmd下载（强烈建议使用SSH命令下载！！！！用http容易报错）需要使用魔法上网才能下载。如果超时的话，也可以选择手动下载。注意下载后的文件名应该和网站上提供的一样。
《Learning Langchain》阅读笔记7-RAG（3）生成embeddings
最新发布
m0_46464899的博客
04-24 422
在前面的部分中，我们已经学习了如何将文档读取为文本以及如何将文本切分为chunks，这一节我们来讲讲如何生成文本嵌入embeddings。
社区供稿 | 中文 LangChain 项目的实现开源工作
Hugging Face
05-18 4629
Chinese-LangChain 是 yanqiangmiffy 同学的开源项目https://hf.co/spaces/ChallengeHub/Chinese-LangChainhttps://github.com/yanqiangmiffy/Chinese-LangChain中文 langchain 项目，基于 ChatGLM-6b + langchain 实现本地化知识库检索与智能答案生...
【Hugging Face全面拥抱LangChain：全新官方合作包】
lhx17673139267的博客
07-03 1847
通过上述介绍，相信你已经可以轻松地在你的LangChain项目中集成平台的强大功能。无论是聊天机器人、文本嵌入还是数据集加载，平台都能为你提供更多的开源模型的支持。
使用Hugging Face进行文本嵌入：完整指南与实用示例
qq_29929123的博客
10-22 1034
Hugging Face提供了多种工具，帮助开发者实现高效的文本嵌入。无论是在本地运行还是使用云服务，Hugging Face都能满足不同的需求。Hugging Face Embedding Model 概念指南如何使用嵌入模型的指南。
from langchain.embeddings.huggingface import HuggingFaceEmbeddings embedding = HuggingFaceEmbeddings(model_name="GanymedeNil/text2vec-large-chinese", model_kwargs={'device': "cuda"})改用模型本地路径
06-07
如果你想在`langchain.embeddings.huggingface`包中使用本地路径加载Hugging Face模型，你需要先下载模型并将其保存到本地路径中。如果你已经下载了`text2vec-large-chinese`模型并将其解压缩到了`/path/to/text2vec...
Hugging Face基础：简单讲解Transformer模型和结构，小白也能看懂，每个词都给你解释清楚了！
2401_86205687的博客
07-22 1626
Transformer基本架构
BGE embeddings: 使用Hugging Face实现高效文本嵌入
ppoojjj的博客
08-28 1976
BGE模型是一系列为通用目的设计的文本嵌入模型。它们在各种NLP任务上表现出色，特别是在文本检索和语义相似度计算方面。BGE模型有多个版本，从小型到大型，适应不同的应用场景和计算资源限制。BGE embeddings 提供了一种强大而灵活的方式来生成高质量的文本表示。通过Hugging Face平台，我们可以轻松地集成这些模型到我们的NLP项目中。无论是进行文本分类、信息检索还是构建对话系统，BGE embeddings都能提供卓越的性能。
HuggingFace BERT源码详解：基本模型组件实现
Paper weekly
06-25 3692
©PaperWeekly 原创 ·作者|李泺秋学校|浙江大学硕士生研究方向|自然语言处理、知识图谱本文记录一下对 HuggingFace 开源的 Transformers 项...
探索Hugging Face上的BGE模型：如何使用这些顶尖的开源嵌入模型？
afTFODguAKBF的博客
10-12 623
BGE模型是由北京智源人工智能研究院开发的开源嵌入模型，专注于生成高质量的文本嵌入。这些模型适用于各种自然语言处理任务，如文本分类、情感分析等。BGE模型是强大的工具，可以显著提升文本处理任务的精度和效率。Hugging Face官方文档BAAI官方资源库。
使用大语言模型集成工具 LangChain 创建自己的论文汇总和查询工具
deephub
05-19 5942
使用LangChain来总结和查询研究论文非常的简单，LangChain很容易使用，也很容易学习。如果你测试可以直接下载来使用。
用LangChain构建大语言模型应用
零点壹客的博客
06-13 1230
该库提供的功能比本文中提到的要多得多，并且还在快速迭代，以目前的发展速度，这篇文章也可能在一个月内就过时了。一套中心化接口，用于处理长期记忆（参见Memory）、外部数据（参见Indexes）、其他 LLM（参见Chains）以及 LLM 无法处理的任务的其他代理（例如，计算或搜索）。流行的向量数据库有很多，本文中，我使用 Faiss，因为它不需要 API 密钥。包为许多基础模型提供了一个通用接口，支持提示管理，并通过代理充当其他组件（如提示模板、其他大语言模型、外部数据和其他工具）的中央接口。
用通俗易懂的方式讲解：使用 Mistral-7B 和 Langchain 搭建基于PDF文件的聊天机器人
2301_78285120的博客
01-07 2269
LangChain是一个在语言模型之上开发上下文感知应用程序的框架。LangChain使用带prompt和few-shot示例的LLM来提供相关响应和推理。LangChain擅长文档问答、聊天机器人、分析结构化数据等。LangChain提供方便处理LLM的抽象组件及其实现，还为更高级别的任务提供组件Chain。LangChain中的模块Model I/O（模型I/ORetrieval（检索Chains（链）, Agents（代理）, Memory（记忆）, Callbacks（回调）
【可能是全网最丝滑的LangChain教程】十五、LangChain进阶之Embedding Models
Jeffray1991的博客
06-17 4042
Embeddings 类为各种文本嵌入模型提供商提供了一个统一的接口，简化了模型的使用。 文本嵌入模型将文本转换为向量形式，便于在向量空间中进行操作，如语义搜索和相似度计算。
探索Hugging Face在LangChain中的集成：从安装到进阶使用
ahdfwcevnhrtds的博客
10-04 1938
Hugging Face在LangChain中的集成提供了强大的工具和模型，可以帮助你轻松实现复杂的NLP任务。通过本文的介绍，希望你能快速上手并深入掌握这些工具的使用。
LangChain入门指南
weixin_42010722的博客
06-19 2737
在日常生活中，我们主要致力于构建端到端的应用程序。有许多自动化机器学习平台和CI/CD流水线可以用来自动化我们的机器学习流程。现如今大模型的出现，如果我们想要借助OpenAI或hugging face创建一个LLM应用程序，在自己的本地部署并使用，但是手动安装大模型步骤太繁琐了，而且涉及到的环境，编译接口集成问题太多了，🚀相对比之下，LangChain简化了LLM模型的集成和开发过程，提供了更高的开发效率和易用性，同时保持了可扩展性和灵活性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彬彬侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值