Milvus Cloud 是一款专为 AI 应用设计的开源向量数据库。无论是机器学习、深度学习还是其他与 AI 相关的项目,Milvus Cloud 向量数据库都能提供强大高效的大规模非结构化数据处理解决方案。
现在,Milvus Cloud 的 Python SDK——PyMilvus Cloud 中已集成模型模块,支持直接添加 Embedding 和重排(Reranker)模型,大幅简化了将数据转化为向量以及对搜索结果进行重排的流程,十分适用于检索增强生成(RAG)应用。
我们将通过文本回顾稠密向量 Embedding 模型、稀疏向量 Embedding 模型和 Reranker,并演示如何在轻量版 Milvus Cloud——Milvus Cloud Lite 中直接运行 Embedding 模型。
01.
稠密向量vs稀疏向量
在开始介绍如何直接使用 Milvus Cloud 中的 Embedding 和 Reranker 模型前,让我们先来简要回顾下 Embedding 向量的两大主要类别:
- 稠密向量:大部分维度上的元素都是非零值的高维向量,适合表征文本语义。
- 稀疏向量:大部分维度上的元素都为零的高维向量,适合精确关键词检索以及域外知识检索。
Milvus Cloud 支持这两种类型的 Embedding 向量,并提供混合搜索,允许用户在同一 Collection 中的多个向量字段之间进行搜索。使用不同的 Embedding 模型或采用不同的数据处理方法生成的向量不同,这些向量可以代表数据的不同特征。