快速启用FastEmbed：轻量级嵌入生成的利器-CSDN博客

本文链接：https://blog.csdn.net/tt_jishu/article/details/143017209

快速启用FastEmbed：轻量级嵌入生成的利器

在现代AI应用中，嵌入生成是处理文本数据的核心技术之一。FastEmbed由Qdrant提供，是一个轻量级且快速的Python库，专门用于高效的嵌入生成。本文将带您了解如何使用FastEmbed生成文档和查询嵌入。

1. 引言

FastEmbed通过其量化模型权重和ONNX Runtime支持，摒弃了对PyTorch的依赖，从而实现了高效的CPU优先设计。这使得FastEmbed在处理大规模数据集时表现卓越。让我们深入探讨FastEmbed的核心功能和使用方法。

2. 主要内容

2.1 快速安装和引入

要开始使用FastEmbed，首先需要安装fastembed包：

%pip install --upgrade --quiet fastembed

然后，在项目中引入必要的模块：

from langchain_community.embeddings.fastembed import FastEmbedEmbeddings

2.2 参数配置

FastEmbed提供了一些关键参数，帮助您根据需要定制嵌入生成：

model_name: 默认为"BAAI/bge-small-en-v1.5"。您可以选择不同的模型以适应特定需求。
max_length: 控制文本的最大长度，默认512个tokens。
cache_dir: 缓存目录路径，默认为local_cache。
threads: 定义单个onnxruntime会话可以使用的线程数。
doc_embed_type: 嵌入方法，可选择"default"或"passage"。
batch_size: 批处理大小，默认为256。
parallel: 数据并行化编码，适合大规模离线编码。

2.3 使用API生成嵌入

示例如何使用FastEmbed生成文档和查询的嵌入。

2.3.1 文档嵌入

embeddings = FastEmbedEmbeddings()

document_embeddings = embeddings.embed_documents(
    ["This is a document", "This is some other document"]
)

2.3.2 查询嵌入

query_embeddings = embeddings.embed_query("This is a query")

3. 代码示例

下面是一个完整的示例，展示如何利用FastEmbed生成并行化的文档嵌入。

from langchain_community.embeddings.fastembed import FastEmbedEmbeddings

# 创建FastEmbed对象
embeddings = FastEmbedEmbeddings(
    model_name="BAAI/bge-small-en-v1.5",
    max_length=512,
    batch_size=256,
    parallel=4  # 使用并行处理加速
)

# 生成文档嵌入
document_embeddings = embeddings.embed_documents(
    ["This is a document", "This is some other document"]
)