NVIDIA Merlin & Milvus
推荐系统 pipeline 中至关重要的一环便是为用户检索并找到最相关的商品。为了实现这一目标,通常会使用低维向量(embedding)表示商品,使用数据库存储及索引数据,最终对数据库中数据进行近似最近邻(ANN)搜索。这些向量表示是通过深度学习模型获取的,而这些深度学习模型基于用户和产品或服务之间的交互进行训练。使用计算机视觉算法或语言模型,还可以从各种数据模态(例如图像、视频或产品与用户的文本描述)中生成向量表示。获取向量表示后便迎来关键步骤——对数十万甚至数百万/数十亿的向量嵌入数据集(例如电商库存产品 embedding)进行高效的 top-k(即 k 个最相似)搜索。
NVIDIA Merlin (https://github.com/NVIDIA-Merlin) 是一个开源框架,用于训练端到端模型,从而为各类规模的数据生成推荐,轻松集成高效的向量数据库索引和搜索框架。而 Milvus 作为大模型时代备受关注的向量数据