探索Hugging Face在LangChain中的集成：从安装到进阶使用

最新推荐文章于 2025-03-28 20:01:54 发布

ahdfwcevnhrtds

最新推荐文章于 2025-03-28 20:01:54 发布

阅读量1.8k

点赞数 25

文章标签： langchain python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142699197

版权

探索Hugging Face在LangChain中的集成：从安装到进阶使用

引言

Hugging Face平台以其强大的自然语言处理（NLP）模型和工具闻名，为开发者提供了丰富的资源来创建智能应用。本文将详细介绍如何在LangChain中集成Hugging Face的功能，从基本的安装指南到高级模型的使用，帮助你快速上手并深入理解其应用。

主要内容

安装

大部分Hugging Face的集成都可以通过langchain-huggingface包来实现。安装指令如下：

pip install langchain-huggingface

聊天模型

使用Hugging Face的聊天模型

你可以使用Hugging Face的LLM类或者直接使用ChatHuggingFace类来调用聊天模型。以下是一个简单的使用示例：

from langchain_huggingface import ChatHuggingFace

# 初始化聊天模型
chat_model = ChatHuggingFace(model_name="gpt-3.5-turbo")
response = chat_model.chat("你好，Hugging Face!")
print(response)

API参考：ChatHuggingFace

本地运行模型

使用HuggingFacePipeline运行本地模型

你可以通过HuggingFacePipeline类在本地运行Hugging Face的模型。以下是一个简单示例：

from langchain_huggingface import HuggingFacePipeline

# 初始化本地模型
pipeline = HuggingFacePipeline(model_

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ahdfwcevnhrtds

关注关注

25
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

langchain + hugginface入门体验

m0_60707623的博客

01-26

1341

langchain + chatgpt 部署 huggingface space

【Hugging Face全面拥抱LangChain：全新官方合作包】

lhx17673139267的博客

07-03

1810

通过上述介绍，相信你已经可以轻松地在你的LangChain项目中集成平台的强大功能。无论是聊天机器人、文本嵌入还是数据集加载，平台都能为你提供更多的开源模型的支持。

参与评论您还未登录，请先登录后发表或查看评论

解决HuggingFaceEmbeddings模型加载报错：缺少sentence-transformers依赖包

最新发布

jieshenai的博客

03-28

422

使用Langchain加载HuggingFaceEmbeddings时，遇到了“Error loading model: Could not import sentence_transformers”错误。尽管已安装sentence_transformers，但依然报错。通过检查并运行import sentence_transformers代码，发现缺少一些依赖包。

【RAG入门教程】Langchian的Embedding介绍与使用

2401_82469710的博客

08-17

2218

词向量是 NLP 中的一种表示形式，其中词汇表中的单词或短语被映射到实数向量。它们用于捕获高维空间中单词之间的语义和句法相似性。

从零开始：使用Hugging Face获取文本嵌入的三种方式

tt_jishu的博客

09-30

917

在这篇文章中，我们介绍了三种使用Hugging Face获取文本嵌入的方法。每种方法各有优势，开发者可以根据具体需求进行选择。希望大家能够在实际应用中灵活运用这些技术。

【Langchain实践】FewShotPromptTemplate实践总结

as you know, nlp is fantasitc!

05-08

952

langchain的FewShotPromptTemplate实践总结。

解锁Hugging Face Embedding的强大功能：从本地到云端的全方位指南

ppoojjj的博客

11-09

817

通过本篇文章，我们探索了如何在本地和通过云端服务使用Hugging Face的嵌入功能。无论您是开发者、研究员还是AI爱好者，相信这些工具能为您的项目提供有效的帮助。Hugging Face官方文档Langchain GitHub仓库Sentence Transformers GitHub仓库。

利用ollama实现本地大模型RAG智能回答

yzj5464的博客

07-05

649

配置HuggingFaceEmbeddings嵌入模型，这里我们用BAAI/bge-small-zh-v1.5。response = query_engine.query("今天星期几")# 配置ollama的LLM模型，这里我们用gemma:7b。# 将data文件夹下的文档建立索引。# 创建问答引擎，并提一个简单的问题。

[深入探索Hugging Face的Embedding功能，快速应用于AI项目]

akhfuiigabv的博客

11-15

562

Hugging Face提供了多种生成文本嵌入的方法，既可以在本地使用丰富的模型库，也可以通过API直接调用这些模型。对于不同的应用场景，可以选择适合的方法来实现高效的自然语言处理。进一步学习资源Hugging Face官方文档Langchain GitHub项目关于嵌入模型的概念指南。

LangChain 本地化方案 - 使用 ChatYuan-large-v2 作为 LLM 大语言模型

小毕超博客

07-15

4594

ChatYuan-large-v2 是一个开源的支持中英双语的功能型对话语言大模型，与其他 LLM 不同的是模型十分轻量化，并且在轻量化的同时效果相对还不错，仅仅通过0.7B参数量就可以实现`10B`模型的基础效果，正是其如此的轻量级，使其可以在普通显卡、 CPU、甚至手机上进行推理，而且 INT4 量化后的最低只需 400M 。

huggingface pipeline的使用

我的博客

02-29

358

huggingface pipeline的使用

02LangChain 实战课——安装入门

Y2483490891的博客

11-02

1071

大语言模型是利用深度学习技术，尤其是神经网络，来理解和生成人类语言的人工智能模型。这些模型因其庞大的参数数量而得名，能够理解和生成复杂的语言模式。它们通过预测下一个词来训练，基于大量数据学习语言的用法和含义，以及如何组合形成意义。尽管大语言模型能够生成连贯的文本，但它们并不真正理解语言，只是基于概率模型进行预测。

[浦语大模型笔记三」Langchain搭建你的本地知识库

ljn20001229的博客

01-21

2375

我们实例化一个基于 InternLM 自定义的 LLM 对象：llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。# 我们所构造的 Prompt 模板template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。总是使用中文回答。

从零开始学 langchain 之搭建最小的 RAG 系统

AAI666666的博客

04-22

2626

RAG 可以说是 23 年以来到现在，最为火热的大模型应用技术了，很多人都有了很多经典的研究。而对于新人来说，有些代码十分复杂，导致只看表象并不理解其原理。今天，就利用 langchain 和大家一起搭建一个最简单的 RAG 系统，一起来学习一下吧。

无需OpenAI API Key，构建个人化知识库的终极指南

DreamsArchitects的博客

05-20

7343

无需OpenAI API Key 也可以实现本地知识库，本文介绍如何使用LangChain + LLM 构建个人知识库

超短代码实现！！基于langchain+chatglm3+BGE+Faiss创建拥有自己知识库的大语言模型(准智能体)本人python版本3.11.0（windows环境篇）

weixin_42179685的博客

03-08

1942

众所周知，大语言模型在落地应用时会遇到各种各样的问题。而其中模型的“致幻性”是非常可怕。目前主流之一的玩法就是通过知识库对回答范围进行限制。本来想等langchain-ChatChat大佬们的0.3.0版本。等待是折磨的，那不如在等待的时候，自己来瞎折腾玩玩。为了快速跑通，目前大家比较喜欢的就是用langchain来把Embedding模型和向量数据库和LLM模型串联起来。

DeepSeek 高薪引才登上热搜~网友：现在转行来得及吗？（附大模型教程）

DEVELOPERAA的博客

02-13

861

最近，DeepSeek 高薪招聘的消息刷爆网络，引发了社会各界的广泛关注。动辄百万的年薪、优厚的福利待遇，无一不彰显着人工智能与大数据领域对专业人才的极度渴求。

【LangChain系列】第十篇：数据保护简介及实践

2301_81888214的博客

06-08

1238

今天看来，数据隐私非常重要，尤其是在使用大型语言模型（LLMs）和敏感信息时。公司和个人经常需要使用私人数据，比如个人可识别信息（PII），用于他们的LLM应用程序中。然而，数据泄露和隐私侵犯的风险是一个持续的威胁，这使得实施数据保护措施变得必要。

在Hugging Face transformers中使用AWQ量化模型

10-09

在Hugging Face Transformers库中，使用AWD-QAModel（即Abridged Wasserstein Distance Quantization Model）通常涉及到将预训练的大型语言模型进行量化，以便于部署到资源有限的设备上，如手机或嵌入式系统。AWD量化是通过Quantization-Aware Training (QAT) 过程实现的，它允许模型在训练过程中就考虑到量化的影响。以下是使用Hugging Face Transformers进行AWD量化模型的基本步骤： 1. **安装依赖**：首先，你需要安装`transformers`库及其相关的量化工具包，例如`transformers quantization`。可以使用pip安装： ``` pip install transformers[quantization] ``` 2. **加载模型**：导入需要的模块并加载预训练的模型，比如BERT、GPT-2等： ```python from transformers import AutoTokenizer, AutoModelForSequenceClassification, is_apex_available, AWDQConfig model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) ``` 3. **量化配置**：创建一个AWD量化配置对象： ```python config = AWDQConfig(model=model) ``` 4. **准备数据**：将数据转换成模型接受的格式，并分割成小批次，这对于量化过程很重要。 5. **量化训练**：使用`Trainer` API进行量化训练，这会自动在训练过程中应用量化技巧： ```python trainer = Trainer( model=model, args=..., data_collator=..., train_dataset=..., eval_dataset=..., # 可选 tokenizer=tokenizer, config=config, compute_metrics=..., ) trainer.train() ``` 6. **保存量化模型**：训练完成后，你可以保存量化后的模型： ```python trainer.save_model("path/to/save/awd_quantized_model") ``` 7. **部署**：现在可以将这个量化模型用于推理任务，相比未量化模型，它的内存占用更小，速度更快。