11月24-25号,来机器之心 AI 论坛深度探讨大模型时代的向量数据库

目前检索增强生成(RAG)已成为当下大模型领域内落地最多也最迫切的领域之一,然而如何用 RAG 系统搭建企业知识库,其技术实现过程中容易走哪些弯路;从数据提取、索引、检索再到生成,如何选择合适的组件并组合以实现最佳的检索性能等等都是技术应用和行业发展的阻碍。

6762e2fc826631aa0971dceb00376a34.png
图源公众号:土猛的员外

尤其在 Embedding 向量模型这一关键组件上,当我们探索向量模型的选择时,我们会发现大多数开源向量模型只支持最大 512 长度的输入,这就给长文本的应用场景带来了局限性,尤其是保持语义的完整性上。

我们最新发布的开源模型 jina-embeddings-v2 支持高达 8k 长度的输入,大幅突破了长文本向量表示的瓶颈,不仅能够提升 RAG 场景下大模型回复的准确性,而且特别适合处理长篇文档,比如报告综述、技术文档等业务场景。

更长的输入长度意味着什么呢?

首先,随着现在大型语言模型处理的文本长度越来越长,我们的向量模型也需要尽可能少地切割段落,以减少语义丧失。此外,在 RAG 系统里,Embedding 模块的作用是召回可能包含答案的段落,Rerank 模块再进一步过滤筛选,构成漏斗形的处理流程。支持更长长度的 jina-embeddings-v2 更加适合多文档召回的需求,能够提升大模型回答的准确性和相关性。

因此在面对需要处理长文本输入的场景时,尤其是那些需要广泛信息搜集和理解的情况下,jina-embeddings-v2 提供了一个更加强大和灵活的解决方案选择。不仅能够帮助大型语言模型更加有效地理解和处理长文本的信息,从而在复杂查询中提供更加精确、更加相关的回答。

活动预告

为了助力广大企业和技术从业者紧跟技术发展潮流,广泛学习产业界最佳实践,掌握向量数据库未来发展趋势,机器之心专门策划了《大模型时代的向量数据库》的 AI 技术论坛。

论坛全日程正式发布,11.24-11.25,来北京·海淀文津国际酒店,Jina AI 将在现场,期待和大家一起来面对面聊聊向量模型、向量数据库和 RAG 系统的技术实现和技术突破!

本场论坛重在行业技术交流,嘉宾分享均是技术干货,不夹带产品广告。Jina AI 联合创始人兼 CTO 王楠博士也受邀将在活动现场进行深度技术分享,如想了解相关产品或项目,欢迎移步展位区!

24dd80e87144e14061cb49960aedbbbf.jpeg

论坛日程

神秘嘉宾也全部到位,分别是复旦大学张奇教授和微软亚洲研究院首席研究员陈琪老师。快来看看活动的完整日程吧。

7e8a73d8b56e82dc3cf9b60b2ea21d3d.jpeg

a875be2045ee8aadb1a34524c22f9871.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值