百度CEO李彦宏：榜单不代表大模型实力 模型之间差距是多维的

雷递网 乐天 9月11日

“外界对大模型有相当多的误解。”百度CEO李彦宏在最近一次和员工交流中谈及三个大模型认知误区，李彦宏认为未来大模型之间的差距可能会越来越大。

李彦宏指出，大模型的天花板很高，现在距离理想情况还相差非常远，所以模型要不断快速迭代、更新和升级；需要能几年、十几年如一日地投入，不断满足用户需求，降本增效。

榜单不代表大模型实力，模型之间的差距是多维的

对于行业“大模型之间的能力已经没有壁垒”的说法，李彦宏说，“每次新模型发布，都要和GPT-4o做比较，说我的得分已经跟它差不多了，甚至某些单项上得分已经超过它了，但这并不表明和最先进的模型就没有差距了。”

“很多模型为了证明自己，会在发布之后去打榜，会去猜测试题目、答题技巧，从榜单上看 ，或许模型的能力已经很接近了，但到实际应用中，实力还是有明显差距的。”

李彦宏指出，模型之间的差距是多维度的。行业往往更关注理解、生成、逻辑、记忆等能力的差距，但却忽视了成本、推理速度等维度，有些模型虽能达到同样效果，但成本高、推理速度慢，还是不如先进模型。

李彦宏认为，真正要去衡量大模型能力，应该是在具体应用场景中，看是否能满足用户需求、产生价值增益，这才是最值得被在乎的。

开源模型效率不高，解决不了算力问题

延续此前观点，内部讲话中，李彦宏进一步阐释了外界对开源大模型的认知误区。

“在大模型时代之前，大家习惯了开源意味着免费、意味着成本低。” 他解释说，比如开源的Linux，因为已经有了电脑，所以使用Linux是免费的。但这些在大模型时代不成立，大模型推理是很贵的，开源模型也不会送算力，还得自己买设备，无法实现算力的高效利用。

“效率上开源模型是不行的。闭源模型准确讲应该叫商业模型，是无数用户分摊研发成本、分摊推理用的机器资源和GPU，GPU的使用效率是最高的，百度文心大模型3.5、4.0的GPU使用率都达到了90%多。”

李彦宏分析，在教学科研等领域，开源模型是有价值的；但在商业领域，当追求的是效率、效果和最低成本时，开源模型是没有优势的。

智能体是大模型最重要的发展方向，但还不是业界共识

李彦宏还谈及了大模型应用的发展阶段，他认为首先出现的是Copilot，对人进行辅助；接下来是Agent智能体，有一定的自主性，能自主使用工具、反思、自我进化；这种自动化程度再发展，就会变成AI Worker，能独立完成各方面的工作。

当前，智能体已经受到越来越多的大模型公司及客户的关注，李彦宏认为，虽然“有很多人看好智能体这个发展方向，但是到今天为止，智能体还不是共识，像百度这样把智能体作为大模型最重要的战略、最重要的发展方向的公司并不多。”

为什么要强调智能体？李彦宏说，“智能体的门槛确实很低”， 很多人不知道怎么把大模型变成应用，而智能体是一个非常直接、高效、简单的方式，在模型之上构建智能体相当方便。目前，每周都有上万个新的智能体在百度文心智能体平台上被创造出来，智能体的日均分发次数已快速增长至800万次。

以下为内部讲话内容：

问：有观点认为，大模型之间的能力已经没有壁垒了？

李彦宏：这个说法我不同意。我认为外界对大模型有相当多的误解，每一个新模型发布时，肯定都想说自己有多好，每次都去跟GPT-4o做比较，拿测试集或者弄一些榜单，说我的得分已经跟它差不多了，甚至某些单项上得分已经超过它了，但这并不能证明这些新发的模型跟OpenAl最先进的模型相比已经没有那么大的差距了。

模型之间的差距是多维度的，一个维度是能力方面，不管是理解能力、生成能力、逻辑推理能力还是记忆能力等这些基本能力上的差距；

另一个维度是成本方面，你想具备这个能力或者想回答这些问题，你付出的成本是多少？有些模型可能推理速度很慢，虽然也达到同样的效果了，但实际上它的体验还是不如最先进的模型。

还有就是对于测试集的over-fitting,每一个想证明自己能力的模型都会去打榜，打榜时他就要猜别人到底在测什么、哪些题我用什么样的技巧就能做对，所以从榜单或者测试集上看，你觉得能力已经很接近了，但到实际应用中还是有明显差距的。

部分自媒体的炒作，再加上每个新模型发布的时候都有宣传的动力，使得大家有一种印象，认为模型之间的能力差别已经比较小了，其实真不是这样。在实际使用过程当中，我不允许我们的技术人员去打榜，真正衡量文心大模型能力的是，你在具体应用场景当中到底有没有能够满足用户的需求，有没有能够产生价值的增益，这是我们真正在乎的。

我们需要看到，一方面模型能力之间还有比较明显的差距，另外一方面天花板很高，你今天做到的跟你实际想要做到的、跟理想状态还差得非常远，所以模型还需要不断快速地去迭代、去更新、去升级。即使今天你看到差距也许没有那么大了，再过一年你看看差距有没有拉大？

有谁能够持续不断地几年甚至十几年如一日往这个方向上去投入，让它越来越能够满足用户的需求、满足场景、满足提升效率或者说降低成本等需求？不同的模型之间差距不是越来越小，是会越来越大的，只是他们不知道真实需求的时候，只去做测试集的题可能觉得差不多了。

所谓的领先12个月或者落后18个月，我认为没有那么重要。我们每个公司都处在完全竞争的市场环境中，你不管做什么方向都有很多竞争对手，如果你能永远保证领先对手12~18个月，那是天下无敌的，不要觉得12—18个月是很短的时间，哪怕你能保证永远领先竞争对手6个月，那就赢了，你的市场份额可能是70%，而对手可能仅为20%甚至10%的份额。

问：有人说开源模型正在缩小与闭源模型的差距，这会摧毁闭源大模型公司的商业模式吗？

李彦宏：这个问题跟上一个问题是高度关联的，我刚才讲一个模型除了能力或效果之外还要看效率，效率上开源模型是不行的。闭源模型准确地讲应该叫商业模型，商业化的模型是无数个用户或者说客户在共享同样的资源，在分摊研发成本、分摊推理用的机器资源和GPU，而开源模型需要你自己去部署一套东西，部署之后GPU的使用率是多少呢？

我们的文心大模型3.5、4.0也好，使用率都是90%多，你部署一个开源模型有多少人在用？我们对外讲文心大模型每天调用量超过6亿，每天生成的token数超过万亿，哪个开源模型可以说自己一天调用量是多少、生成了多少token?没有人用的话成本怎么分担？推理成本怎么能够跟商业化模型相比呢？

在大模型时代之前，大家习惯了开源意味着免费、意味着成本低。那时市面上那种商业化的产品，每一个版本都要为之付钱，比如买一个电脑装Windows，可能微软要从中收多少钱，而你如果跑一个Linux就不用花这个钱了。由于Linux是开源的，所有程序员都可以看到代码，哪儿做的不好我可以去更新，更新了再check in，大家众人拾柴火焰高，你在巨人的肩膀上可以不断地进步。

但是这些东西在大模型时代都不成立，大模型时代大家经常讲的是GPU有多贵，算力是决定大模型成败的一个关键因素，开源的模型给你送算力吗？它不给你送算力，怎么能够让算力高效地被利用？开源模型解决不了这个问题。

以前你买电脑的时候就已经为算力付费了，但大模型的推理不是这样，这个推理其实很贵。所以说开源大模型的价值在教学科研这些领域，要想搞清楚大模型的工作原理是啥，如果不知道源代码什么的肯定是有劣势的，但是真正在商业领域，当你追求的是效率、效果，追求的是最低的成本时，开源模型是没有优势的。

问：AI应用的演进方式是什么？为什么强调智能体？

李彦宏：大模型发展的过程必然要经历这几个阶段，一开始是对人进行辅助，最后出来什么东西需要人把最后一道关，我们确定它的效果是OK的，各方面都不错才会让它出去，这是Copilot阶段；再往下走就是Agent智能体，外界对于Agent有各种各样不同的定义，最主要还是说它有了一定的自主性，具备自主使用工具、反思、自我进化等能力；这种自动化程度再往下走就变成一个所谓的Al Worker，能够像人一样做各种各样的脑力和体力劳动，各方面的工作都可以独立完成。肯定要有这么一个过程。

“智能体是大模型最重要的发展方向”这个判断，其实是一个非共识。百度Create大会上我们发了三个产品，AgentBuilder、AppBuilder、ModelBuilder，其中AgentBuilder和AppBuilder都是讲智能体的，一个门槛更低一些，另一个功能更强大一些。

当我们解释完了之后，有些人终于开始明白这东西确实有意思，能够产生价值，而且已经可以相对比较低门槛地做出来大家感觉可用的东西。

从那时候开始智能体的热度才慢慢上来，也开始有很多人看好智能体这个发展方向，但是到今天为止智能体还不是共识，像百度这样把智能体作为大模型最重要的战略、最重要的发展方向的公司并不多。

为什么我们这么强调智能体？因为智能体的门槛确实很低，我们去年说要卷应用、大家都去做应用，其实很多人还是说不知道该怎么做，不知道这个方向能不能做出来，我到底要用到什么能力才能够在这个场景下产生价值，这里面有无数不确定性，大家不知道怎么从模型变成应用。

但是智能体提供了一个非常直接、非常高效、非常简单的方式，在模型之上构建智能体是相当方便的，这也是为什么今天每周都有上万个新的智能体在文心平台上被创造出来。

智能体方面我们已经看到了趋势，也有比较好的先决条件，除了模型本身的能力比较强大之外，我们也有很好的分发通路。百度的APP，尤其是百度搜索一天有数以亿计的人在用，用户的需求主动向我们表达了，哪一个智能体能更好地去回答他这些问题，去满足他这些需求，这是一个自然匹配的过程，所以我们是最能够帮助这些开发者分发他们智能体的。

———————————————

雷递由媒体人雷建平创办，若转载请写明来源。