FlagEmbedding 教程
1. 项目介绍
FlagEmbedding 是一个用于文本向量化处理的开源库,它能够将任意文本映射到低维稠密向量中,以供检索、分类、聚类或语义搜索等任务使用。此外,该库也适用于LLMs(大型语言模型)中的矢量数据库。FlagEmbedding持续更新,例如集成BGE模型到Langchain,并发布不同规模的模型,包括在多个基准测试中表现出色的BAAI General Embedding模型。
2. 项目快速启动
首先,确保您已经安装了Python和Git。接下来,克隆FlagEmbedding仓库并创建一个虚拟环境:
# 克隆项目
git clone https://github.com/FlagOpen/FlagEmbedding.git
# 创建并激活虚拟环境
python -m venv env
source env/bin/activate # 对于Windows用户,使用 `.\env\Scripts\activate`
# 安装依赖
cd FlagEmbedding
pip install -r requirements.txt
要运行示例,查看项目根目录下的example
文件夹,里面通常会有演示如何使用FlagEmbedding的脚本。
3. 应用案例和最佳实践
检索任务
from flagembedding import FlagEmbedding
# 初始化模型
model = FlagEmbedding('path/to/model')
# 对查询进行编码
query_embedding = model.encode('你的查询')
# 假设你有一批已编码的文档
doc_embeddings = [model.encode(doc) for doc in documents]
# 计算相似度并获取最相关的文档
similarity_scores = [(doc_id, cosine_similarity(query_embedding, doc))
for doc_id, doc in enumerate(doc_embeddings)]
top_n_results = sorted(similarity_scores, key=lambda x: x[1], reverse=True)[:n]
使用预训练模型
根据最新的版本,可以尝试BGE系列的预训练模型,如bge-large-*
,这些模型在多项基准测试中表现优异。
from flagembedding.models.bge import BGEModel
# 加载模型
bge_model = BGEModel.from_pretrained('bge-large-xyz') # 替换xyz为具体模型名称
4. 典型生态项目
- Langchain: 旗标嵌入模型已经集成到Langchain中,允许更方便地在多任务和跨模态环境中使用。
- C-MTEB: 旗标团队还发布了中国大规模文本嵌入基准(C-MTEB),包含31个测试数据集,用于评估模型性能。
欲了解更多详细信息,建议参考FlagEmbedding的官方文档和GitHub仓库中的示例代码。