智联招聘×Milvus：向量召回技术提升招聘匹配效率

于 2024-10-22 18:30:53 发布
阅读量841 收藏 11
点赞数 14
文章标签： milvus 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44839084/article/details/143172093
版权

6076e7a9877e6c6d2cff6dcb448362b6.png

a9c969c486f13d8f0d7dee018d9bbb78.png

01.

业务背景

在智联招聘平台，求职者和招聘者之间的高效匹配至关重要。招聘者可以发布职位寻找合适的人才，求职者则通过上传简历寻找合适的工作。在这种复杂的场景中，我们的核心目标是为双方提供精准的匹配结果。在搜索推荐场景下，候选人或职位列表会经历召回、粗排、精排和重排等多个阶段，从亿级别的候选集中筛选出最匹配的简历或职位进行展示。在召回阶段我们除了使用传统的规则召回外，还引入了向量召回方式。本次我们主要介绍一种向量召回方式：通过职位召回简历（JD2CV）。为了便于讨论，文中将职位简写为JD，简历简写为CV。

02.

向量召回实现方式

1. 模型训练样本选择：

最低0.47元/天 解锁文章
博客
一手测评｜RAG总卡死？大模型给Embedding API 时延背了太多锅了
05-08 680
相比之下，步骤 2 中调用 Embedding API 的延迟，如果高达数百毫秒甚至数秒，就会成为用户能明显感受到的、阻塞整个流程的‘第一道坎’，因此常常是实际的性能瓶颈点。你不再需要在代码中分别对接各个厂商的 SDK，只需在 Milvus 中配置好 Function 并提供你的 API Key（Bring Your Own Key, BYOK），就可以轻松切换和对比不同模型在真实 Milvus 操作（如插入、查询）中的端到端性能表现。Embedding服务Provider提供的便利的背后，性能代价如何？
博客
Milvus多租户实践：你的技术选型扛得住一夜爆火吗？
05-07 512
在超大规模 collection 集群中，随着数据的持续写入，segment 数量会达到百万级（例如，若系统中有 10k 个 collection，每个 collection 有 100 个 partition，则 segment 数量至少会有 10k * 100 个），因而使得系统触发的索引构建任务会达到数百万个，导致任务积压率持续升高，查询性能衰减，任务调度成为系统瓶颈点之一。该模型会持续监测任务执行状态，当检测到大量索引构建任务时，会开启并发调度，同时执行多个任务，以达到资源最大化利用的目的。
博客
Office Hour（线上研讨会）丨如何让Milvus更快，从资源配置到索引参数
05-07 83
在此之后，我们会开设半小时（20:30-21:00）的自由讨论时间，交给大家自由延伸与交流。5月15日晚上20:00-21:00，Zilliz直播间，《如何让milvus更快，从资源配置到索引参数》的分享。报名进专属微信群，使用腾讯会议参会。
博客
Milvus五一专场，致敬每一个为开源社区贡献力量的北辰使者们
04-30 725
大家好，我是北辰使者老Z，一个职业生涯覆盖了从最早的Red Hat、OpenStack，到K8s、Ansible等开源基础设施，再到近年来的AI大模型与向量数据库架构实践的运维与架构设计老鸟，平时的“生活只有工作”。而 Milvus 北极星计划旨在汇集和团结 Milvus 社区的热心用户及开发者，组成社区大使团队，根据不同朋友擅长的能力（Coding、写作、沟通、布道、活动组织等），在社区中分配职责，共同建设运营 Milvus 社区，为社区发展壮大探索方向。说起我和开源的缘分，其实是从2020年开始的。
博客
一文读懂Milvus核心参数，十分钟解决80% 的配置问题
04-23 1068
最后还需要强调一点，数据的可见性和 Flush 没关系，是由查询的一致性等级来决定的，之前社区里有不少朋友担心数据可见性的问题，每插入一次数据，都会调一次 Flush，导致系统整体性能非常差，并且影响稳定性。对于性能要求不严苛，但是成本比较敏感的场景，比如自动驾驶模型训练中的 corner case 图片搜索，超大规模知识库系统，我们可以利用索引量化或磁盘+内存的方式，在有限内存里装更多的数据，当然这样做的代价就是牺牲召回率或性能。根据机器配置情况，可以将这两个参数调大到 4G 或者 8G。
博客
Langchain 吐槽OpenAI根本不懂 AI agent和workflow？知识点全解析
04-22 1027
它们通常以包含提示、模型和工具，以及一些参数。大多数人会把 LangGraph 描述为一个声明式框架，但其实在LangGraph ，虽然节点与边之间的连接是通过声明式方式完成的，但节点和边本身其实就是普通的 Python 或 TypeScript 函数。边可以是固定的，也可以是条件式的，因此即使整体结构是声明式的，但。文章中给出的反驳，同样干货满满，堪称是agentic system选型指南，可以快速帮助开发者们梳理清楚agentic system开发中的常见问题，以及相关业务构建逻辑，非常值得一读。
博客
直播预告丨Milvus如何让机器翻译更精准：术语校对的深度解析
04-21 292
4月24日晚上20:00-21:00，Zilliz直播间，沉浸式翻译团队。欢迎大家锁定Zilliz直播间，与我们一起用AI重新定义网文翻译！Milvus 在网文术语校对中的应用。点击下方预约，共享知识探索之旅！机器翻译中的术语约束问题。
博客
风口|继MoE、MCP与A2A之后，下一个模型协作风口是MoA
04-21 920
MoA：一个三层系统，每层有六个提议者（Qwen1.5-110B-Chat, Qwen1.5-72B-Chat, WizardLM-8x22B, LLaMA-3-70B-Instruct, Mixtral-8x22B-v0.1, dbrx-instruct），并以 Qwen1.5-110B-Chat 作为聚合者。基于这些发现，作者提出了 MoA 概念。这显示了 MoA 方法的潜力，即最终的聚合器并非简单地从提议者的回复中选择其一，而是对所有提议者的回复进行汇总整合，从而生成一个更强大、更可靠的最终回复。
博客
讨论｜谁能统一Agent 接口？MCP 对比 A2A 、Function Calling
04-14 942
此外，对于函数的链式调用，Function Calling本身并不直接支持多步调用组合，模型只能一次调用一个函数，获取结果后如果需调用下一个函数，需要由应用逻辑将结果馈入模型下一轮对话，再触发下一个函数调用。MCP 的扩展性，则通过统一的接口标准，将复杂的M（个模型）×N（个外部工具对接）问题转化为M+N的问题：工具创建者只需为每个工具/系统实现一次MCP Server，应用开发者只需为每个应用实现一次MCP Client，各自遵循通用协议即可协同工作，接着，服务器处理请求并返回响应，告知任务的状态。
博客
90%的DeepSeek一体机，都是拍脑袋交的“智商税”
04-10 965
单机版本的优势是简单上手快，短板也很明显，没有高可用能力，数据量增长到千万级，QPS 增长到几百以上，性能就会遇到瓶颈。而高可用和可扩展性，是 Milvus 集群版的天然能力，但是集群版依赖的 K8s环境，一体机几乎很难提供，很多套壳公司也不具备这个能力，所以，现实是，大部分一体机厂商仅仅满足于Docker单机版，不做容灾，只能“祈祷”机房不出故障、数据不暴涨。最过分的，是给客户甲的产品，改个名字，换个logo（是的，毕竟是私有部署，所以连UI都不用换）就卖给客户乙，美其名曰定制化，然后额外收费几十万。
博客
深度干货|万字长文解读向量数据库的前世今生（先码后学）
04-09 920
例如，在经过良好训练的词向量模型中，“king”（国王）和“queen”（王后）的向量表示通常比它们与“automobile”（汽车）的距离更近，从而反映出它们在语义上的相关性。而在对速度要求高于完美召回的场景中（如高吞吐量的推荐系统和大规模特征匹配），二值索引也能展现出优异的性能。向量数据库是先进推荐系统的重要基础。例如，在某些对准确性要求较高的应用（如医学影像分析、金融风控）中，召回率可能需要达到 95% 甚至更高，而在搜索引擎、推荐系统等场景中，80%-90% 的召回率可能已经能提供足够的用户体验。
博客
放弃pgvector，Milvus 才是海量非结构化数据自动分片最优解
04-02 593
实际上，PG与Milvus的选择背后，不只是向量数据库如何选型这么简单，而是代表了一个技术团队的长期技术哲学思考：究竟是先快速上线搞定需求，还是将眼光放得更长远，考虑半年、一年甚至三年五年的长期需求。：在一开始，应该把所有数据分成多少片，几乎没人说得清。一开始看似低门槛的解决方案，发展到后期，随着数据量的增长，全都会变成惰性带来的技术负债：一个短择的技术决策，可能导致长期的遗患无穷。，将数据分布在多个服务器上，从而减轻单个服务器的压力，以更低成本，提高整体系统的性能和扩展性，并保证，在单一节点出现故障时，
博客
先码后学｜从Manus到DeepSearcher，2025年最值得关注的十大AI Agent
03-26 717
通过利用 GPT-4 的强大能力，AutoGPT 可以将复杂目标分解为更小的、可执行的任务，按顺序执行这些任务，并根据结果进行迭代，以实现预期的结果。每次对向量数据库中内容完成数据查询后，系统都会启动一个反馈（reflection）流程，然后在每一轮迭代结束时，智能体（Agent）会对查询到的知识进行评估，判断其是否足以解答初始提出的问题。然而，就像人类一样，Agent 需要可靠的记忆才能有效运作，这也是向量数据库之所以必要的原因，它为存储、管理和检索上下文数据提供了必要的基础设施。
博客
Milvus×最新版DeepSeek v3：对标Claude，本地数据五分钟写网站
03-25 793
如何将它与RAG结合？在搭建好一个最基本的RAG之后，接下来，我们对原装版DeepSeek-V3-0324 以及结合了Milvus+DeepSeek-V3-0324的RAG版本做一下效果对比。另外，我们通过实验发现，相比前一段时间风很大的推理模型，作为非推理模型的新版V3，虽然不会在回答中给出详细的推理过程，但其答案生成仍展现了一定的逻辑与思考能力。与之形成对比，推理模型做RAG与Agent ，效果很好，但却会对一些简单的指令判断，做一大堆分析与反复思考确认，不仅消耗过多token，回答速度还慢。
博客
Agent的安卓时刻到了！MCP协议下的Cursor与Milvus部署指南
03-19 1154
通过MCP服务器，开发者无需深入了解Milvus的底层API细节，就可以轻松实现向量数据的实时查询、相似度搜索和数据管理等操作，极大地降低了向量数据库应用的开发门槛。下面这张图，这是不是你使用大模型的日常：无所不能的DeepSeek老师，能30秒告诉你量子力学的发展与演变，却不能告诉你如何买到清明节出去玩的最便宜的机票。服务器是MCP的核心，它们连接AI模型与实际数据源。甚至，还有人将其重要性与互联网时代http协议的发明相媲美——统一的接口标准，意味着更低的开发难度，撬动的是无限可能的生态开发潜力。
博客
爆火 | API终将淘汰，MCP+Milvus+LLM才是Agent开发新范式
03-18 884
去年11月，硅谷AI独角兽Anthropic正式推出了MCP——模型上下文协议，让开发者只需一次编写，就能为大模型对接不同的API、数据库与文件系统，极大降低了模型的配置难度。原因很简单，在做旅行规划的时候，大模型缺乏必要的天气、机票、铁路、导航、酒店等必要数据与工具的接入。Milvus不仅擅长管理海量数据，其高效的相似性搜索和可扩展的向量存储功能，更是让其成为AI Agent的理想之选。有了MCP，LLM就像装上了标准的type C接口充电，可以快速接入的任何支持MCP的工具。
博客
向量数据库Zilliz x 西湖心辰:让Agent拥有情商
03-13 614
前言今年春晚，魔性转手绢的宇树，一夜之间爆火。灵活的四肢，精准的运动控制，整齐的列队，配合东北花棉袄与大红手绢，赛博新世界的大门就这么在最传统的除夕夜，向全世界打开了。于是，叠被子、摇奶茶、炒菜、拖地……普通人在思考如何让机械牛马解放普通牛马。投资人、地方政府、创业者们，则开启了又一轮以杭州为关键词的城市大反思。但业内的讨论，已经在思考机器人的下一步：给硬件封装灵魂，有市场吗？而关于这场讨论，话题...
博客
干货汇总|十大DeepSeek官方集成推荐
03-12 1373
前言官网版DeepSeek用不上，二次开发版DeepSeek挑花眼？是谁还不知道，DeepSeek官方已经对优秀二次开发项目做了合集，还放在GitHub开源了？Awesome-Deepseek-Integration指路：https://github.com/deepseek-ai/awesome-deepseek-integration这里面的项目类型主要包括了应用程序、AI Agent框架、A...
博客
通义QwQ-32B+Milvus，消费级显卡布满血大模型与RAG的时代来了！
03-11 654
前言最近，通义开源的QwQ-32B模型可谓是火的一塌糊涂。作为一个中型推理模型，QwQ-32B只有320亿参数，但却在多个基准测试中展现出优秀的推理能力，几乎直逼满血版DeepSeek R1，在数学计算、写作与代码编程方面的表现更是相当不错。最重要的是，QwQ-32B不仅性能强大，还极其“亲民”，它体积小、推理快，支持消费级显卡部署，像RTX 4090这样的显卡就能轻松运行，非常适合普通个人开发者...
博客
向量数据实战：斗图总是慢人一步？谁还没学会AI表情包检索
03-06 607
前言此刻正阅读推文的你，是不是经常网络沟通词不达意？是不是经常因为不小心说错话懊悔不已？而且，经常在想要对朋友表达关心之时，只会说：早上好，吃了吗，今天怎么样？语气生硬的像个机器人。没关系，没什么问题是一个表情包搞不定的！但擅长网络冲浪的你可能在运用过程中会发现：我的表情包太多了，有时想找到想要的那张表情包要扒拉好半天才可以，严重影响我秒回！虽然微信/QQ有表情包联想功能，但里面的图怎比得过自己精...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值