推荐系统[九]项目技术细节讲解z4：向量检索技术工程上实践，曝光去重实践以及检索引擎该如何选择：支撑亿级索引、5毫秒级的检索[elasticsearch、milvus]

已于 2023-04-12 22:42:13 修改
阅读量353 收藏 1
点赞数 1
分类专栏： 搜索推荐系统相关技术业务落地方案及码源 文章标签： elasticsearch milvus 向量搜索 图搜索算法 搜索引擎
于 2023-03-09 14:39:02 首次发布
涉及博主原创类文章，未经博主许可不允许转载
本文链接：https://blog.csdn.net/sinat_39620217/article/details/129419669
版权
本文探讨了向量检索技术在工程实践中的应用，包括微信的Simsvr和阿里的Proxima Bilin Engine。文章介绍了大厂解决方案的分布式架构、数据划分策略、数据同步和一致性保证。同时，还提到了开源选项如elasticsearch和milvus，并讨论了如何在亿级索引规模下选择合适的检索引擎。
摘要由CSDN通过智能技术生成

在这里插入图片描述
搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

在这里插入图片描述
专栏详细介绍：搜索推荐系统专栏简介：搜索推荐全流程讲解（召回粗排精排重排混排）、系统架构、常见问题、算法项目实战总结、技术细节以及项目实战（含码源）

前人栽树后人乘凉，本专栏提供资料：

  1. 推荐系统算法库，包含推荐系统经典及最新算法讲解，以及涉及后续业务落地方案和码源
  2. 本专栏会持续更新业务落地方案以及码源。同时我也会整理总结出有价值的资料省去你大把时间，快速获取有价值信息进行科研or业务落地
了解本专栏 订阅专栏 解锁全文
汀、人工智能
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
《向量数据库指南》——向量数据库Elasticsearch -＞ Milvus 2.x
LCHub低代码社区
09-21 670
当迁移结束后，我们也可以通过 Attu 来查看迁移成功的总行数，也可以在 Attu 进行 load collection操作；而 collection 主键和 vector 字段建立 autoIndex 索引在迁移过程会自动创建好。除了使用命令方式，项目也支持 Restful api 来执行迁移。关于配置文件更加详细的介绍，请参考项目 README.md。
《向量数据库指南》——Milvus Cloud和Elastic Cloud 特性对比
LCHub低代码社区
10-15 1241
例如，在提供类似插件的传统数据库中，Elasticsearch 8.0 首屈一指，推出了包括向量插入和最相似近邻搜索（ANN）能力在内的一系列特性，并提供了相应的 RESTful API 接口。值得注意的是，作为既有系统的补充，大多数此类向量检索插件提供的 embedding 管理和向量检索方案并不尽如人意，使得这些插件在与检索性能密切相关的时延、容量和吞吐等指标上表现不佳。另外，数据插入速率、检索速率以及底层硬件的不同可能会衍生出不同的应用需求，这也让全局参数调节能力成为向量数据库的必备能力之一。
聊聊呼声较高的向量过滤搜索及其优化
ZILLIZ
01-23 407
范围不限于 Zilliz 的单个产品，也可以谈谈对 Zilliz 的商业动态、线下活动、内容平台的文章等印象，字数不限，入选用户将收获神秘礼物盲盒，欢迎来私～在 Milvus 社区中，这也是呼声比较高的功能。不过，很多用户反映，对于该功能的认知和使用方法仍心存疑惑。向量过滤搜索是一种基于条件的向量搜索方法，常用于推荐系统和信息检索等领域，能够帮助用户快速找到在给定条件下与其查询相关的内容。为此，本次直播，我们邀请到了 Zilliz 高级软件工程师许维芷，他将为大家一一解答。
推荐系统(4):深入浅出向量召回检索技术
yanianthe的博客
03-30 2155
推荐系统中，向量召回如何实现？
【向量检索】之向量数据库Milvus,Faiss详解及应用案例
larrino的博客
06-18 3004
向量数据库、Milvus、FAISS、向量化、相似度计算、索引构建、ANN（Approximate Nearest Neighbor）。
多张表数据合并到一张表模板_Milvus在大规模向量检索场景下的数据管理
weixin_39625468的博客
12-04 337
（一）Milvus是什么？ Milvus 是 一款开源的、针对海量特征向量的相似性搜索引擎。Milvus能够很好地应对海量向量数据，它集成了目前在向量相似性计算领域比较知名的几个开源库（Faiss， SPTAG等），通过对数据和硬件算力的合理调度，以获得最优的搜索性能。 用户只需要从docker hub上下载一个Milvus的最新镜像，一行命令即可启动，然后可以通过Python SDK或者...
Chat with Milvus (1) 问答实录 - 近似搜索、分布式、数据库， 来看看我们都聊了些什么！...
ZILLIZ
02-28 634
本周二我们在线上与 Milvus 的朋友们进行了一场精彩的问答。我们也为不能参加的朋友们做了一个完整的文字实录。觉得字数多看起来很累的朋友们可以根据自己想了解的内容观看影片回放。也想加入...
MM5Z4V7T1的技术参数
12-11
产品型号:MM5Z4V7T1齐纳击穿电压Vz最小值(V):4.400齐纳击穿电压Vz典型值(V):4.700齐纳击穿电压Vz最大值(V):5@Izt(mA):5齐纳阻抗Zzt(Ω):800最大功率PMax(W):0.100芯片标识:9封装/温度(℃):SOD523/-65~150价格/1片(套...
MM3Z4V7ST1G的技术参数
12-11
产品型号:MM3Z4V7ST1G齐纳击穿电压Vz最小值(V):4.550齐纳击穿电压Vz典型值(V):4.700齐纳击穿电压Vz最大值(V):4.750@Izt(mA):800齐纳阻抗Zzt(Ω):80最大功率PMax(W):0.200芯片标识:T9封装/温度(℃):SOD323/-65~150...
MM5Z4V7T1G的技术参数
12-11
产品型号:MM5Z4V7T1G齐纳击穿电压Vz最小值(V):4.400齐纳击穿电压Vz典型值(V):4.700齐纳击穿电压Vz最大值(V):5@Izt(mA):5齐纳阻抗Zzt(Ω):800最大功率PMax(W):0.100芯片标识:9封装/温度(℃):SOD523/-65~150价格/1片...
MM5Z4V7ST1G的技术参数
12-11
产品型号:MM5Z4V7ST1G齐纳击穿电压Vz最小值(V):4.400齐纳击穿电压Vz典型值(V):4.700齐纳击穿电压Vz最大值(V):5@Izt(mA):5齐纳阻抗Zzt(Ω):800最大功率PMax(W):0.100芯片标识:T9封装/温度(℃):SOD523/-65~150价格/1片...
MM5Z4V3ST1G的技术参数
12-11
产品型号:MM5Z4V3ST1G齐纳击穿电压Vz最小值(V):4齐纳击穿电压Vz典型值(V):4.300齐纳击穿电压Vz最大值(V):4.600@Izt(mA):5齐纳阻抗Zzt(Ω):1000最大功率PMax(W):0.100芯片标识:T8封装/温度(℃):SOD523/-65~150价格/1...
相似问答检索——汽车之家的 Milvus 实践
ZILLIZ
09-02 990
✏️ 作者介绍：王寒&翟羽佳-汽车之家认知智能组 NLP 算法工程师| 项目背景汽车之家作为中国汽车互联网平台，拥有全球最大的汽车社区论坛。多年来积累了丰富的用户问答数据，能...
元宇宙到家，那些「聪明」的设计工具
ZILLIZ
01-04 1058
Milvus 实战系列
向量检索库Milvus架构及数据处理流程
weixin_43843104的博客
10-23 2149
Sealed：Segment 已经被关闭了，它的空间不可以再往外分配。例如以登陆次数和平均观看时长作为特征时，余弦相似度会认为（1，10）、（10，100）两个用户距离很近，但显然这两个用户的活跃度是有着很大差异的，（10，100）这个用户的价值更高，此时我们更关注数值绝对差异，应当使用欧氏距离。milvus的索引内存数据，存储在query node中，当query扩容（或缩容）时，由于索引文件持久化在对象存储中，query coord会进行重新分配，从而拥有水平扩（缩）容的能力。
几款多模态向量检索引擎：Faiss 、milvus、Proxima、vearch、Jina等对比
qq_15821487的博客
04-26 1874
知乎：https://zhuanlan.zhihu.com/p/364923722 CSDN:https://blog.csdn.net/haima1998/article/details/119781638?ops_request_misc=&request_id=&biz_id=102&utm_term=%E5%90%91%E9%87%8F%E6%A3%80%E7%B4%A2%E5%B7%A5%E5%85%B7%E5%AF%B9%E6%AF%94&utm_medium=d
git使用
08-21 206
git push origin HEAD:refs/for/dev_Air 将本地仓库推送到服务器仓库。git add oms_ft/package/ut/vmp_tool/ 增加单独目录。git commit -m "testut" 将缓冲区修改提交到本地仓库。git clean -dfx 清理所有新增文件，文件夹。git add . 把所有修改的文件提交到缓冲区。
图解 Elasticsearch 的 Fielddata Cache 使用与优化
最新发布
铭毅天下Elasticsearch
08-21 700
1、难搞的 fielddata cache在 ES 使用的几个内存缓存中，fielddata cache 算是一个让人头疼的家伙。作为和 query cache 和 request cache 一样不受 GC 控制的内存使用者，fielddata cache 虽然也有 indices.fielddata.cache.size 的设置来阻止过度使用，但是默认是不限制的。并且，当 fielddata ...
Java全文检索引擎Lucene：功能、比较与应用案例
通过阅读这篇简介，读者不仅能了解到Lucene的基础原理和技术细节，还能了解其在实际项目中的应用案例和与其他全文引擎的比较，这对于希望在Java应用中实现高效全文检索的开发者来说是一份宝贵的资源。同时，文章也...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汀、人工智能

十分感谢您的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值