我们离AGI还差什么？是更高级的认知能力么？| AI TIME 34

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

预训练模型将自然语言理解以及自然语言生成的能力再次推上新的高峰，让AI研究者看到了基于大模型预训练模型探索通用人工智能的可能。

9月3日上午，在2022年世界人工智能大会（WAIC 2022）上，我们举办了“认知大模型的研究与应用”分论坛。论坛邀请了学界与工业界嘉宾共同探索认知大模型的发展与应用，共同探索通用人工智能之路。

此次论坛由世界人工智能大会组委会办公室为指导单位，清华—中国工程科技知识中心智能联合研究中心、东浩兰生（集团）有限公司主办，AI TIME承办，北京智谱华章科技有限公司协办，通过北京线下，上海线上直播相结合的方式举办。

中国人民大学的卢志武汇报了大规模多模态预训练的最新研究进展，并介绍了他们做的多模态预训练模型——文澜，并指出文澜的新发现——可解释性，是接下来研究的方向。卢志武提到通过做一个可视化的工具，以文本和噪声为输入，经多次迭代可实现神经网络的可视化，并根据结果发现多模态预训练模型的理解和人类大脑在一定程度上是相通的。他还提到未来会更加关注一些多模态预训练的机制，特别是从类脑的角度分析，观察是否与人脑具有类似性。同时，卢志武认为之后会更加关注多模态有关的科学问题和已经面向业务场景的落地应用。

清华大学的黄民烈针对认知对抗与语言生成领域带来了他的分享，他提到过去几年自然语言生成的研究进展是非常之快的，无论是从数据还是从模型，如对话系统中人工评价的指标已经和人类的表现非常接近了。这说明NLG已经是一个热门研究方向了。人们发现这个方向研究的性能越来越难提升，而且做出的模型也很快就过时了。同时，这些也带来了很大资源和时间的消耗。人们是否能够更好的理解一般性的模型呢？在当前语言模型框架下，人们又可以做些什么呢？针对Universal LM，Long Text Generation，LM Bias，Non-Autoregressive Generation等等。评价Evaluation是可以帮助人们做上述工作的，在当前研究范式和研究状态下，人们在上述方面都会有许多新的机会，同时也是提供给人们解决问题的新思路和新角度。

清华大学的刘知远介绍了他们团队最新研究的成果——OpenBMB大模型系统。他提出大模型主要特点是可以将深度学习从过去特定任务上的小规模训练数据推广到了大规模的没有任何标注的训练数据上。由于可用的数据变多，模型的能力也会随着模型的规模而提升。预训练模型的引入更是引发了AI革命，可以说是大模型的时代已经来临。但是，大模型依然面临算力消耗大、要求专门知识和非标准化等挑战。这些原因也导致大模型在真正的应用落地上还面临困难，也正因此他们提出了OpenBMB框架来解决这个问题，希望可以在数据、模型和工具几个层面都可以提供支持。刘知远还提到接下来会继续围绕OpenBMB进行一系列工具的开发，以支持市面上常见的模型。

来自美团的王金刚就大规模预训练模型在美团落地实践上进行了分享。他提到如今的预训练语言模型已经成为NLP任务基石。全球范围内，预训练模型的参数规模不断被刷新，同时也成为如今解决NLP任务和相关搜索、推荐等实际任务中不可缺少的手段。虽然训练成本高，但是投入产出比还是非常可观的，预训练模型在互联网平台上也是广泛应用。现在的主要预训练模型压缩技术大概可以分为知识蒸馏、模型剪枝和模型量化三大类。最近他们团队和悟道团队合作，在百亿模型上完成了高压缩比下的预训练模型压缩。语言模型蒸馏在压缩比例较大时候难以达到预期效果，单步蒸馏效果较差，引入助教模型可以改进压缩效果。大模型在工业界和产业界落地的过程中面临着模型压缩这一挑战，目前应用在美团平台实践中的模型压缩方法还是取得了很好的效果。

王绍兰介绍了大规模预训练模型开放平台与产业应用。他提出“数字人”这一概念已经在从偶像概念向着工业界渐渐落地，最近的大模型同样也有很快发展。以天启大模型为例，这个开源模型目前在许多中英文双语的数据集上都取得了新的高度。在大模型的落地应用上，像作诗这种短文本生成甚至已经可以通过图灵测试了。而除了对话等能力，大模型还有多模态数据的生成能力，如图片的生成。在媒体的智算中心层面，把大模型放在云端也是一种方法。除此之外，还有科技情报领域，面试数字人等方面，大模型都发挥了很大作用。在此基础之上，智谱还推出了AIGC等数字人生成平台，无论是形象还是内容方面，人们都可以通过平台生成数字员工。总之，王绍兰希望能够利用大模型的一些特点将其打造成落地的应用，尤其是数字员工方面。他还提到未来还将探索更强大、更通用的语言模型，同时探索面向认知的预训练模型并使其更接地。除此之外，智谱还将在数字员工领域提供更多的解决方案。

1

我们离AGI还差什么？是更高级的认知能力么？

Q1

技术思辨

（1）目前大家都在关注大模型如何高效、低成本的应用于实际系统，构建大模型需要克服数据质量、训练效率、算力消耗、模型交付等诸多障碍；也有部分研究者认为大模型普遍缺乏认知能力的问题，也在质疑其能否被称为“基础模型”的之一。

（2）人去完成任务一般会进行几个方面的工作：一、我们会把这项任务尝试拆分成若干个简单任务，第二，针对这些任务去做一些相关信息的获取，最后我们会进行所谓的高级推理，从而完成更加复杂的任务。是否可以让大模型去学习到人的高级认知能力？让大模型像人一样完成一些任务？

刘知远提到大模型现在肯定是会受到一些计算屏障的困扰，但这并不是一个很大的问题。本身人们的算力也在不断提高，关于模型的计算算法也在不断更新换代。从大模型的认知能力方面，人是有能力完成任务分解并汇总的，而大模型应该已经可以做到这些了。让大模型迈向认知是一个渐进的过程，目前的框架不一定可以算成终极方案，但是大模型利用大规模的参数确实是可以做到一定程度的。

王金刚提到大模型不一定可以称为“基础模型”，可能会有一些新的更好方式出现。目前大家已经在向更好的方向努力了，大家在思考如何把模型本身学到的认知能力或认知推理过程提取出来去解决问题。如何在预训练的训练和应用上将人的因素考虑进去，这方面的研究如果能出成果将会是很有前景的。

黄民烈从语言生成的角度做了分享，他认为现在大模型在生成上面临的挑战更多一些。分类可能更容易些，但是生成任务对算力消耗和时间成本上是难以估计的。而对于高级的复杂任务，有些可能真的无法通过大模型做到，除非是把符号的东西引进来。

卢志武补充道，他认为一些多模态的数据输入可以使得大模型完成更多的任务，甚至是接近AGI的程度。考虑到更多的模态，是有可能超出人们预期甚至推动人们进入下一阶段的。

王绍兰从产业的角度提出了自己的见解，他以数字员工为例，指出认知大模型在今天已经迈出了第一步。人们如今的很多技术都是很多年前难以想到的，这些事情都很有可能改变未来的产业模式。认知智能的产业时代已经开始了。无论是AGI能否实现，还是大模型能否能将任务分解，都只是一个时间问题，还需要人们在工程上的更多探讨和创新。

Q2

近现代人类技术革命

（1）近年来《Nature》封面文章已经出现了五花八门的各种应用，大模型也开始在这当中扮演至关重要的角色。这方面一个耳熟能详的工作就是AlphaFold，对整个蛋白质结构预测产生了天翻地覆的影响。

（2）为了让大模型在产业界有更广泛的应用，目前亟待解决的是降低其使用门槛？还是提升模型性能？

（3）Communications of the ACM里的Hardware Lottery提到算法需要与硬件结合才能真正成功，如果目前的大模型范式无法继续往前推进，那么下一个Hardware Lottery有可能在哪里？

王金刚提到AI for Science确实是如今大模型中一个令人期待的研究方向。他提到了研发周期很长的医药领域，大模型对于他们的降本增效会起到很大作用。而对于降低使用门槛来说，以往不同领域的差距还是很大，切换赛道的成本也是很高的，但现在我们看到基本都是预训练在各种场景下的应用，这样来看其实门槛是降低了的。随着硬件设施的迭代，模型的性能也在不断提高。王金刚觉得硬件上还是与模型的发展是相互促进的。

刘知远针对降低门槛和提升模型性能，提到之前做过的研讨——大模型在哪里发挥作用？如现在的搜索、广告和推荐等成熟的场景，大模型是可以发挥更大效用的，人们此时追求的也会是提升模型的性能。类似于其他许多技术，大模型其实在很多场景中已经较为成熟，欠缺的可能仅仅是一个合适的商业模式。刘知远还提到人们其实也不需要去弄明白大模型的底层原理，只需要像使用数据库系统一样会用大模型去完成人们熟悉场景的创新应用即可。他们团队做OpenBMB的初衷也在于希望能够让更多的人拥有使用大模型的能力。

黄民烈更侧重于对成本的考虑，如果是用大模型做生成任务却没有足够的成本保障还是一个很困难的事情。降低成本，还是这个问题的关键。

卢志武结合多模态模型落地的问题谈了下看法，他提出目前落地更多的还是在手机。他们团队在oppo手机上将文澜模型压缩后做了一个多模态应用的app，因此认为大模型在手机上落地的可能是存在的。目前的文澜模型还是有些慢，对于用户的体验不是很好。卢志武认为通过这个探索，大模型存在手机上的方式也是有可能的。

王绍兰从公司的角度提到更注重的是落地的商业价值。大模型之所以能在AI for Science上取得长足的进步，很大的一个原因在于科学计算领域并不关注盈利。大模型更多的是在做0到1的突破，而微观角度中产品或平台的发展是存在拐点的，毕竟起点阶段确实是需要投入的。进入认知智能的时代，各个行业领域都需要积极去探索。

Q3

展望通用人工智能之路

（1）未来5-10年，大模型的发展如何？

刘知远提到大模型在未来应该是一条通向更高智能水平而不可规避的道路，如同过去这十年的深度学习一样。随着技术的发展，大模型在未来可能也不算“大”。如今我们处在一个模型具备较强通用能力的时期，而通用本身就是一个模型认知能力的体现。刘知远也期待未来5-10年可以有更多创新的研究或是商业产品模式，大模型也具有这样一个潜力。

王金刚从产业的角度入手，提到未来5-10年可能如今日的互联网+一样看到更多的AI+、大模型+等更多产业更好的应用。国家现在也在鼓励各企业做科技转型，如智慧农业、智慧港口等，相信这些在未来5-10年也会出现一些进展和成果。

黄民烈更期待大模型与符号运算的结合，比如做一些复杂的推理。根据多种信息源并建立起连接，将丢掉的信息补回来，在大模型的框架下还是非常有前景的。黄民烈认为这也是通向真正人工智能的一个非常好的方向。

卢志武针对消费市场的普通用户提出未来将很快看到越来越多的AI生成内容，而手机也会因为大模型而变得越来越智能。

王绍兰希望未来的5-10年可以看到如今日的寒武纪生物大爆发一般的认知智能大爆发，真正的认知智能可以真正的拓展开。而从现在的商业形式来说，如今的大模型还不够复杂，略微有一些粗犷。他提到希望可以在未来5-10年可以达到复杂化的目标。

整理：林   则

作者：AI Timer

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了800多位海内外讲者，举办了逾350场活动，超300万人次观看。

我知道你

在看

哦

~

点击 阅读原文 查看回放！