在AI技术广泛应用的企业场景中,提高检索准确度和效率已成为关键挑战。特别是面对生成式AI中的“幻觉”问题,企业急需有效解决方案。
华人学霸团队
Voyage AI,一家由华人创办的AI初创公司,正是为了应对这一问题而诞生。通过开发先进的嵌入和重新排序模型,Voyage AI为企业提供了高效的检索增强生成(RAG)解决方案,以应对复杂数据的检索需求。
Voyage AI近日宣布完成了2000万美元的A轮融资,由CRV领投,Wing VC、Snowflake和Databricks参与,总融资额已达2800万美元,这笔资金将助力公司进一步研发和完善其核心技术。
Voyage AI由清华大学毕业的马腾宇于2023年底创立,专注于开发顶尖的嵌入模型,并为企业提供定制化服务。
马腾宇在普林斯顿大学获得博士学位,师从著名理论计算机科学家Sanjeev Arora教授,随后加入斯坦福大学,专注于大规模嵌入模型和自然语言处理领域的研究。
Voyage AI的团队均为华人,汇集了来自斯坦福、麻省理工等顶尖学府的专家,既具备深厚的学术背景,也拥有丰富的AI实际应用经验。通过与Snowflake、Harvey、Databricks等知名企业的合作,他们推动了技术在真实商业场景中的落地,确保产品的实用性和市场适应性。
Voyage AI还得到了斯坦福人工智能实验室主任Christopher Manning和AI领域知名学者李飞飞等人的支持,他们作为学术顾问,为公司提供了宝贵的技术指导和学术洞见。
让AI更“智能”
RAG(检索增强生成)技术通过将生成式AI与企业现有的知识库结合,利用检索到的相关数据辅助生成,从而减少错误信息的产生。
Voyage AI通过嵌入模型和重新排序器的结合,显著提升了RAG系统的整体效果,尤其在金融、法律和多语言应用等领域表现突出。
嵌入模型是RAG的核心,它将文本、文档等非结构化数据转化为向量表示,帮助AI更好地理解内容和上下文。例如,Voyage AI的嵌入模型能够识别同一词汇在不同语境下的不同含义,提高数据检索的准确性。以“银行”为例,无论是指“河岸”还是“金融机构”,嵌入模型都能生成不同的向量反映其特定的语境含义,使得AI在处理复杂查询时,能够返回更精确、更相关的结果。
Voyage AI采用创新的对比学习技术,使模型能在无大量标记数据的情况下,从数据中提取深层次语义信息,提高了处理复杂数据的准确性和鲁棒性,特别适用于企业非结构化数据处理。
新一代嵌入模型与重排序模型
Voyage AI近期发布的新一代嵌入模型voyage-3和voyage-3-lite,在多个关键技术指标上显著超越了市场主流产品。与OpenAI的嵌入模型相比,voyage-3在检索精度上提升了7.55%,并将成本降低了2.2倍。
voyage-3-lite则在检索准确性提升了3.82%,同时成本减少了6倍。这种高效的成本控制对于大规模企业应用来说尤其重要,因为它不仅提高了系统的可用性,还显著降低了运营成本。
除了嵌入模型,Voyage AI还推出了新型重排序模型,该模型在复杂查询的处理上表现尤为出色。新重排序模型在检索准确度上提升了13.89%和11.86%,通过优化搜索结果的排列方式,确保最相关的信息能够优先呈现给用户。
左图:不同嵌入模型在不同数据领域的 NDCG@10。右图:在 OpenAI 最新嵌入模型上使用时各种重新排序器的 NDCG@10。
这一创新对于企业级应用尤其关键,因为在大量数据查询中,信息的相关性决定了AI系统能否高效辅助决策。通过这些新型模型,Voyage AI帮助企业实现了更加精准的数据检索和分析,显著提升了AI系统的商业价值。
这些技术不仅解决了企业在大规模数据处理中的痛点,还为复杂应用场景中的AI系统提供了可靠的支持,尤其在对速度、成本和准确度要求高的行业,如金融、法律、医疗和多语言处理领域,Voyage AI的技术具有极大的应用潜力。
目前,Voyage AI通过与Snowflake、Harvey、Databricks等知名企业的合作,Voyage AI在实际应用场景中获得了宝贵反馈,这些反馈进一步帮助他们优化产品,确保模型在真实商业环境中保持高效性能。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。