机器学习-向量检索+存储格式技术

本文探讨了大规模向量相似性检索的重要性和应用场景,如机器学习中的KNN和K-means,以及图像和关键词检索。介绍了三种主要方法:基于树的方法(如KD树),哈希方法(如LSH)和矢量量化方法(如PQ)。对于不同的数据规模,推荐了适用的工具,如FALCONN和NMSLIB。此外,还提及了向量相似度计算后的向量存储格式,特别是稀疏矩阵存储。
摘要由CSDN通过智能技术生成

(1) 向量相似性检索

算向量相似度在很多算法中都有应用,对大规模服务来说,如何加速向量检索与相似度计算

是非常有价值的。

应用场景:

1 机器学习算法内部步骤:KNN, K-means

2 向量相似搜索:图像检索,word关键词检索

 

下面列出了其中的一些方式和方法:

两个问题:

- 1 检索-相似向量检索:

引用自:

http://www.flickering.cn/ads/2018/03/%E3%80%90%E8%BD%AC%E3%80%91%E5%A4%A7%E8%A7%84%E6%A8%A1%E9%AB%98%E7%BB%B4%E6%95%B0%E6%8D%AE%E5%AE%9E%E6%97%B6%E7%9B%B8%E4%BC%BC%E6%90%9C%E7%B4%A2%E7%AE%97%E6%B3%95%EF%BC%9Aproduct-quantization/

参考文献很好的总结了相似搜索的几类方法,这里简要总结几个核心点。可以将方法分为三大类:

  • 基于树的方法
    • KD树是其下的经典算法。一般而言,在空间维度比较低时,KD树的查找性能还是比较高效的;但当空间维度较高时,该方法会退化为暴力
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值