召回服务相关–向量服务平台:
向量服务平台,也称向量检索服务,其解决的问题是从海量向量数据中高精度、高性能的召回出与目标最相似的数据。
向量服务平台的底层架构有多种:
- 基于量化的索引
- 基于树的索引
- 基于图的索引
- 基于哈希的索引
这里主要我们使用最多的,基于树的索引
方法原理:(搜索树的思想)用超平面把高维空间分割成多个子空间,并把这些子空间以树型结构存储的索引方式。
算法实现:ANN(Approximate Nearest Neighbor)搜索算法,faiss,Annoy, balltree。
召回服务相关–特征服务:
特征服务实际为一个存储用户特征和物料特征的存储平台:
特点:
- 存储的特征,包含:原始型和处理型
- 存储的特征是实时更新的
- 对外提供服务是并发、高效、安全的
- 分布式、可扩展性
召回服务相关–redis存储平台:
特点:
Redis存储平台是一个开源的、基于内存的数据结构存储器,可以用作数据库、缓存和消息中间件。
- C/S架构,即Client和Server
- 可分布式、可扩展性、高吞吐量