阿里巴巴集团的研究人员提出ZeroSearch

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

阿里巴巴集团的研究人员近日提出了一种新颖的人工智能训练方法,或将彻底改变当前依赖昂贵商用搜索引擎API进行信息检索训练的现状。这一技术被命名为“ZeroSearch”,使大型语言模型(LLMs)能够通过模拟搜索过程来学习搜索技能,从而无需在训练阶段实际访问搜索引擎。

ZeroSearch

据研究团队介绍,ZeroSearch采用强化学习框架,通过激励模型搜索能力的方式训练AI,但在整个过程中不与真实搜索引擎进行交互。这一方法不仅显著减少了训练过程中的API调用成本,也为开发者提供了更大的控制权,能够更精确地管理AI在训练中接触到的信息类型和质量。

当前,开发能自主搜索信息的AI助手所面临的两大挑战是:首先,训练阶段由真实搜索引擎返回的文档质量不可预测;其次,大量API调用的高昂费用严重限制了模型训练的可扩展性。研究人员指出,强化学习训练通常需要进行数十万次搜索请求,而这类请求通过商用搜索引擎API进行将带来极高成本。为解决这一难题,ZeroSearch提出以轻量级监督微调起步,将语言模型转变为具备检索能力的模块,能够根据查询生成相关或不相关的文档,并在后续训练中采用“基于课程的演化策略”逐步降低文档质量,从而模拟真实搜索的挑战。

研究者进一步解释称,大型语言模型在大规模预训练中已掌握丰富的世界知识,因此在面对搜索请求时具备生成相关文档的能力。与真实搜索引擎的主要区别仅在于返回内容的文本风格。

在涉及七个问答数据集的大量实验中,ZeroSearch训练出的模型不仅与依赖真实搜索引擎的模型表现相当,甚至在多项任务中实现超越。其中,一个拥有70亿参数的检索模块已能与谷歌搜索持平,而一个140亿参数的模块更是超出谷歌的表现。成本对比亦十分显著:使用SerpAPI调用谷歌搜索进行6.4万次查询的开销约为586.70美元,而利用四块A100 GPU运行ZeroSearch的模拟训练仅需70.80美元,节省幅度高达88%。

论文指出,这一成果展示了在强化学习环境中,用训练良好的语言模型替代真实搜索引擎的可行性。

ZeroSearch带来的变革意义远不止于成本节省。该方法标志着人工智能训练模式的重大转变,即AI系统可以在不依赖外部工具的前提下实现自我提升。对于预算有限的小型AI公司和初创企业而言,此举无疑降低了进入门槛,有助于技术公平化。同时,开发者在训练过程中可对模型所接触到的信息进行更精细的控制,避免由真实搜索引擎带来的信息质量不确定性。

该方法已成功应用于多个模型系列,包括Qwen-2.5与LLaMA-3.2,并支持基础模型与指令微调版本。研究团队已在GitHub和Hugging Face平台上公开了相关代码、数据集与预训练模型,供其他研究人员和企业参考使用。

随着大型语言模型技术的不断演进,ZeroSearch等自我模拟训练方法预示着AI系统未来将以更独立的方式发展,不再依赖大型科技平台提供的外部服务。这不仅可能重塑AI开发的经济结构,也可能加速技术生态的多元化与去中心化进程。

有趣的是,阿里巴巴通过教会AI“无需搜索引擎即可搜索”的能力,反而可能削弱了传统搜索引擎在AI发展过程中的必要性。在不久的将来,随着AI系统日益具备自给自足的能力,整个科技格局或将焕然一新。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值