直播｜Milvus 实战系列 #1 ：vivo 短视频基于 Milvus 的内容去重实践

Zilliz Planet

于 2021-12-14 18:42:31 发布

阅读量585

点赞数

文章标签：数据库人工智能大数据 java python

本文链接：https://blog.csdn.net/weixin_44839084/article/details/121943342

版权

Milvus 实战系列

第一期

｜直播速览｜

主题 vivo 短视频基于 Milvus 的内容去重实践

讲师马运杰，vivo互联网服务器开发工程师

时间 12 月 16 日（周四） 19:00

福利参与直播抽奖，领取 Milvus 周边！

vivo 短视频是一款由 vivo 官方开发的沉浸式观看视频 App，为 vivo 手机的内置应用，这里可以观看各式各样的视频，一键关注喜爱的 Up 主，了解他们的最新动态。

vivo 视频处理团队需要处理的重点是存在于 vivo 短视频中的视频去重问题。目前，vivo 视频处理团队需要处理千万级数量的视频，平均每个视频提取约 10 帧左右的图片用于相似度对比，后续使用打分算法计算视频的重复度。

如何通过 Milvus 开源向量数据库提升视频去重性能？降低误杀率？

本期直播，我们邀请到了来自 vivo 的工程师马运杰，与大家分享 Milvus 在 vivo 视频中的实践。

Zilliz 以重新定义数据科学为愿景，致力于打造一家全球领先的开源技术创新公司，并通过开源和云原生解决方案为企业解锁非结构化数据的隐藏价值。

Zilliz 构建了 Milvus 向量数据库，以加快下一代数据平台的发展。Milvus 数据库是 LF AI & Data 基金会的毕业项目，能够管理大量非结构化数据集，在新药发现、推荐系统、聊天机器人等方面具有广泛的应用。

解锁更多应用场景

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Zilliz Planet

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

参与评论您还未登录，请先登录后发表或查看评论

博客

一文读懂Milvus核心参数，十分钟解决80% 的配置问题

04-23

1002

最后还需要强调一点，数据的可见性和 Flush 没关系，是由查询的一致性等级来决定的，之前社区里有不少朋友担心数据可见性的问题，每插入一次数据，都会调一次 Flush，导致系统整体性能非常差，并且影响稳定性。对于性能要求不严苛，但是成本比较敏感的场景，比如自动驾驶模型训练中的 corner case 图片搜索，超大规模知识库系统，我们可以利用索引量化或磁盘+内存的方式，在有限内存里装更多的数据，当然这样做的代价就是牺牲召回率或性能。根据机器配置情况，可以将这两个参数调大到 4G 或者 8G。

博客

Langchain 吐槽OpenAI根本不懂 AI agent和workflow？知识点全解析

04-22

1006

它们通常以包含提示、模型和工具，以及一些参数。大多数人会把 LangGraph 描述为一个声明式框架，但其实在LangGraph ，虽然节点与边之间的连接是通过声明式方式完成的，但节点和边本身其实就是普通的 Python 或 TypeScript 函数。边可以是固定的，也可以是条件式的，因此即使整体结构是声明式的，但。文章中给出的反驳，同样干货满满，堪称是agentic system选型指南，可以快速帮助开发者们梳理清楚agentic system开发中的常见问题，以及相关业务构建逻辑，非常值得一读。

博客

直播预告丨Milvus如何让机器翻译更精准：术语校对的深度解析

04-21

285

4月24日晚上20:00-21:00，Zilliz直播间，沉浸式翻译团队。欢迎大家锁定Zilliz直播间，与我们一起用AI重新定义网文翻译！Milvus 在网文术语校对中的应用。点击下方预约，共享知识探索之旅！机器翻译中的术语约束问题。

博客

风口|继MoE、MCP与A2A之后，下一个模型协作风口是MoA

04-21

905

MoA：一个三层系统，每层有六个提议者（Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, LLaMA-3-70B-Instruct, Mixtral-8x22B-v0.1, dbrx-instruct），并以 Qwen1.5-110B-Chat 作为聚合者。基于这些发现，作者提出了 MoA 概念。这显示了 MoA 方法的潜力，即最终的聚合器并非简单地从提议者的回复中选择其一，而是对所有提议者的回复进行汇总整合，从而生成一个更强大、更可靠的最终回复。

博客

讨论｜谁能统一Agent 接口？MCP 对比 A2A 、Function Calling

04-14

927

此外，对于函数的链式调用，Function Calling本身并不直接支持多步调用组合，模型只能一次调用一个函数，获取结果后如果需调用下一个函数，需要由应用逻辑将结果馈入模型下一轮对话，再触发下一个函数调用。MCP 的扩展性，则通过统一的接口标准，将复杂的M（个模型）×N（个外部工具对接）问题转化为M+N的问题：工具创建者只需为每个工具/系统实现一次MCP Server，应用开发者只需为每个应用实现一次MCP Client，各自遵循通用协议即可协同工作，接着，服务器处理请求并返回响应，告知任务的状态。

博客

90%的DeepSeek一体机，都是拍脑袋交的“智商税”

04-10

899

单机版本的优势是简单上手快，短板也很明显，没有高可用能力，数据量增长到千万级，QPS 增长到几百以上，性能就会遇到瓶颈。而高可用和可扩展性，是 Milvus 集群版的天然能力，但是集群版依赖的 K8s环境，一体机几乎很难提供，很多套壳公司也不具备这个能力，所以，现实是，大部分一体机厂商仅仅满足于Docker单机版，不做容灾，只能“祈祷”机房不出故障、数据不暴涨。最过分的，是给客户甲的产品，改个名字，换个logo（是的，毕竟是私有部署，所以连UI都不用换）就卖给客户乙，美其名曰定制化，然后额外收费几十万。

博客

深度干货|万字长文解读向量数据库的前世今生（先码后学）

04-09

906

例如，在经过良好训练的词向量模型中，“king”（国王）和“queen”（王后）的向量表示通常比它们与“automobile”（汽车）的距离更近，从而反映出它们在语义上的相关性。而在对速度要求高于完美召回的场景中（如高吞吐量的推荐系统和大规模特征匹配），二值索引也能展现出优异的性能。向量数据库是先进推荐系统的重要基础。例如，在某些对准确性要求较高的应用（如医学影像分析、金融风控）中，召回率可能需要达到 95% 甚至更高，而在搜索引擎、推荐系统等场景中，80%-90% 的召回率可能已经能提供足够的用户体验。

博客

放弃pgvector，Milvus 才是海量非结构化数据自动分片最优解

04-02

582

实际上，PG与Milvus的选择背后，不只是向量数据库如何选型这么简单，而是代表了一个技术团队的长期技术哲学思考：究竟是先快速上线搞定需求，还是将眼光放得更长远，考虑半年、一年甚至三年五年的长期需求。：在一开始，应该把所有数据分成多少片，几乎没人说得清。一开始看似低门槛的解决方案，发展到后期，随着数据量的增长，全都会变成惰性带来的技术负债：一个短择的技术决策，可能导致长期的遗患无穷。，将数据分布在多个服务器上，从而减轻单个服务器的压力，以更低成本，提高整体系统的性能和扩展性，并保证，在单一节点出现故障时，

博客

先码后学｜从Manus到DeepSearcher，2025年最值得关注的十大AI Agent

03-26

689

通过利用 GPT-4 的强大能力，AutoGPT 可以将复杂目标分解为更小的、可执行的任务，按顺序执行这些任务，并根据结果进行迭代，以实现预期的结果。每次对向量数据库中内容完成数据查询后，系统都会启动一个反馈（reflection）流程，然后在每一轮迭代结束时，智能体（Agent）会对查询到的知识进行评估，判断其是否足以解答初始提出的问题。然而，就像人类一样，Agent 需要可靠的记忆才能有效运作，这也是向量数据库之所以必要的原因，它为存储、管理和检索上下文数据提供了必要的基础设施。

博客

03-25

783

如何将它与RAG结合？在搭建好一个最基本的RAG之后，接下来，我们对原装版DeepSeek-V3-0324 以及结合了Milvus+DeepSeek-V3-0324的RAG版本做一下效果对比。另外，我们通过实验发现，相比前一段时间风很大的推理模型，作为非推理模型的新版V3，虽然不会在回答中给出详细的推理过程，但其答案生成仍展现了一定的逻辑与思考能力。与之形成对比，推理模型做RAG与Agent ，效果很好，但却会对一些简单的指令判断，做一大堆分析与反复思考确认，不仅消耗过多token，回答速度还慢。

博客

Agent的安卓时刻到了！MCP协议下的Cursor与Milvus部署指南

03-19

1069

通过MCP服务器，开发者无需深入了解Milvus的底层API细节，就可以轻松实现向量数据的实时查询、相似度搜索和数据管理等操作，极大地降低了向量数据库应用的开发门槛。下面这张图，这是不是你使用大模型的日常：无所不能的DeepSeek老师，能30秒告诉你量子力学的发展与演变，却不能告诉你如何买到清明节出去玩的最便宜的机票。服务器是MCP的核心，它们连接AI模型与实际数据源。甚至，还有人将其重要性与互联网时代http协议的发明相媲美——统一的接口标准，意味着更低的开发难度，撬动的是无限可能的生态开发潜力。

博客

爆火 | API终将淘汰，MCP+Milvus+LLM才是Agent开发新范式

03-18

877

去年11月，硅谷AI独角兽Anthropic正式推出了MCP——模型上下文协议，让开发者只需一次编写，就能为大模型对接不同的API、数据库与文件系统，极大降低了模型的配置难度。原因很简单，在做旅行规划的时候，大模型缺乏必要的天气、机票、铁路、导航、酒店等必要数据与工具的接入。Milvus不仅擅长管理海量数据，其高效的相似性搜索和可扩展的向量存储功能，更是让其成为AI Agent的理想之选。有了MCP，LLM就像装上了标准的type C接口充电，可以快速接入的任何支持MCP的工具。

博客

向量数据库Zilliz x 西湖心辰:让Agent拥有情商

03-13

610

前言今年春晚，魔性转手绢的宇树，一夜之间爆火。灵活的四肢，精准的运动控制，整齐的列队，配合东北花棉袄与大红手绢，赛博新世界的大门就这么在最传统的除夕夜，向全世界打开了。于是，叠被子、摇奶茶、炒菜、拖地……普通人在思考如何让机械牛马解放普通牛马。投资人、地方政府、创业者们，则开启了又一轮以杭州为关键词的城市大反思。但业内的讨论，已经在思考机器人的下一步：给硬件封装灵魂，有市场吗？而关于这场讨论，话题...

博客

干货汇总|十大DeepSeek官方集成推荐

03-12

1343

前言官网版DeepSeek用不上，二次开发版DeepSeek挑花眼？是谁还不知道，DeepSeek官方已经对优秀二次开发项目做了合集，还放在GitHub开源了？Awesome-Deepseek-Integration指路：https://github.com/deepseek-ai/awesome-deepseek-integration这里面的项目类型主要包括了应用程序、AI Agent框架、A...

博客

通义QwQ-32B+Milvus，消费级显卡布满血大模型与RAG的时代来了！

03-11

647

前言最近，通义开源的QwQ-32B模型可谓是火的一塌糊涂。作为一个中型推理模型，QwQ-32B只有320亿参数，但却在多个基准测试中展现出优秀的推理能力，几乎直逼满血版DeepSeek R1，在数学计算、写作与代码编程方面的表现更是相当不错。最重要的是，QwQ-32B不仅性能强大，还极其“亲民”，它体积小、推理快，支持消费级显卡部署，像RTX 4090这样的显卡就能轻松运行，非常适合普通个人开发者...

博客

向量数据实战：斗图总是慢人一步？谁还没学会AI表情包检索

03-06

603

前言此刻正阅读推文的你，是不是经常网络沟通词不达意？是不是经常因为不小心说错话懊悔不已？而且，经常在想要对朋友表达关心之时，只会说：早上好，吃了吗，今天怎么样？语气生硬的像个机器人。没关系，没什么问题是一个表情包搞不定的！但擅长网络冲浪的你可能在运用过程中会发现：我的表情包太多了，有时想找到想要的那张表情包要扒拉好半天才可以，严重影响我秒回！虽然微信/QQ有表情包联想功能，但里面的图怎比得过自己精...

博客

DeepSearcher深度解读：Agentic RAG的出现，传统RAG的黄昏

03-04

1171

前言准备好迎接搜索3.0时代了吗？随着这几年AI技术的革新，“搜索应用”成为了AI应用层的第一个共识。从海外的OpenAI、微软Bing Copilot、Perplexity AI，再到国内的豆包、Kimi，都是这一共识下的代表产品。技术上，从传统的关键词检索，到RAG，大家已经不满足于只是生成对应的简单回答而是期待大语言模型能够更好地应用于企业级场景，产生更大的价值。不久前，OpenAI推出了最...

博客

14家企业非结构化数据治理秘籍全公开，《Zilliz 向量数据库白皮书＆案例合集》正式发布...

02-27

1038

开工第一个月，相信大家都在忙着做工作规划，做立项，争取HC，抢预算。毕竟过了一个被deepseek冠名的春节，各行各业都开启了新一轮的大模型落地需求。但大模型如何结合业务？RAG如何落地？非结构化数据如何治理？还有，架构盲区如何破？选型捷径哪里找？部署深坑怎么躲？老板要人效比提升一倍，财务批的预算却直接减半。问题一个接一个，开工才一月，立项方案已经改到第8版。别担心，别人还在踩坑，打开本条推送的你...

博客

开源|十天1500+star，深度解读DeepSearcher核心技术架构

02-26

1681

前言【捷报速递】????不久前我们推出了DeepSearcher开源项目，十日狂揽1500 Stars！感谢全球开发者和各位读者们的火热支持！尝鲜链接：https://github.com/zilliztech/deep-searcher与此同时，我们的内容在hacknews上一经推出，也成功登顶TOP3关注。在社区中，我们也收获了很多的激烈讨论。比如，很多开发者表示，相比OpenAI推出的报告生成神...

博客

别搞Graph RAG了，拥抱新一代RAG范式DeepSearcher

02-25

1163

前言上午刚开心的在朋友圈庆祝了《哪吒2》登顶全球IMAX票房历史前八；下午老板就说，小王啊，你这么懂，就拿DeepSeek做出一个《上古神话中龙族意象在流行文化中的演变》吧，记得下班前给我……对了，记得要融合孙悟空和哪吒的痒点，结合《山海经》到《哪吒》的爆款打法，利用古典文学理论与当代精神分析双重赋能，打出我们的独特用户爽点（省略八百字）老板的要求百爹齐放但时间转换器从哈利波特走向现实之前，打工人...