2457亿，全球最大巨量模型“源”发布：怎么用，挑战在哪儿？

最新推荐文章于 2024-10-07 06:31:57 发布

ITValue

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量243

点赞数

文章标签：人工智能大数据机器学习编程语言数据分析

本文链接：https://blog.csdn.net/jR2qkuHiR0G/article/details/120643881

版权

浪潮发布的源1.0巨量模型参数规模达2457亿，训练数据集5000GB，超越GPT-3，成为全球最大规模的AI模型。该模型在NLP领域展现出高通用性，能完成诗词创作、理解推理等任务。然而，挑战在于如何将其与产业场景结合并实现低功耗落地，以及在多模态和可解释性上的提升。

摘要由CSDN通过智能技术生成

关注ITValue，看企业级最新鲜、最价值报道！

图片来源@视觉中国

浪潮此前发布的巨量模型源1.0引起了业界专家的关注。据说该模型参数规模达到了2457亿，训练采用的中文数据集达5000GB。相比OpenAI 去年推出的GPT-3模型（1750亿参数量，570GB训练数据集），源1.0参数规模领先40%，训练数据集规模领先近10倍。因此，浪潮源1.0也被称为全球最大规模的人工智能巨量模型。

在源1.0发布当日，浪潮还同步举行了一个研讨会，来自国内自然语言理解领域的近20位专家、院士参加研讨，就巨量模型的应用前景与挑战都发表了个人看法。

源1.0是什么？怎么用？

就像上文提到的，源1.0是用5000GB的中文数据集训练而来，所以源1.0本质上是一个偏向于中文语言的巨量模型，且其未来应用的突破点也主要会在NLP（自然语言处理）领域进行先期切入。

在传统的人工智能语言模型训练中，由于计算资源等各种条件限制，业界的语言模型往往针对某个小场景，通用性不强。而由于巨量模型采用的数据集够大、形成的参数规模也够大，最终模型的通用性也会比较高，是真正的“见多识广”。

但由于巨量模型在前期训练的过程中需要消耗的计算资源太大，所以一般业界做这种尝试的并不多。此前，全球已经推出千亿级巨量模型比较典型的是OpenAI 的GPT3模型，其参数模型达到了1750亿。

据了解，源1.0参数量高达2457亿，训练采用的中文数据集达5000GB,相比GPT3 1750亿参数集、570GB训练数据，参数集规模提升了40%，训练数据规模提升近10倍。

巨量模型训练出来了，有什么价值，亮点在哪儿？我们拿AI作诗举例。

一般情况下，让人工智能写一首诗之前，首先要有一个学习了大量唐诗宋词的模型出来，人工智能才能自动填词。但是由于这个小模型只学习过唐诗宋词的语料，如果撰写文章，这类模型则很难完成。巨量模型就不同了，由于它提前学习的海量预料中包含了唐诗宋词、各种文体作文、甚至还是有明星八卦，所以无论问它什么，它好像都能从容作答。

现场，浪潮人工智能研究院首席研究员吴韶华展示了它为源1.0的设置的指代、推理、理解等多方位的问题，比如完形填空，让AI在空白处填写正确的成语，它回答的都分毫不差。吴韶华也说，除此之外，巨量模型在写300-500字的主题创作上，也能够顺利完成。也就是说，有了巨量模型，在不久的将来，让成熟的文档自己写稿的日子或许真的指日可待了。

挑战在哪儿?

在过去4个月里，一群浪潮AI专家，把近5年互联网内容浓缩成2000亿词，让AI在16天内读完，终于炼成了“源1.0”。源1.0的成果得到了在座专家的一致肯定。不过对于源1.0的应用以及后续迭代上，大家也都毫不讳言。其中，受到关注最多的问题是，源1.0这样的巨量模型怎么能够跟产业场景结合，怎么能够落地使用。

在场景落地上，巨量模型首要挑战有两个，一是能不能找到杀手级应用；二是，巨量模型中包含的千亿参数怎么在低功耗的情况下落地。

对于第一个挑战，当前业界还没有最佳实践可循，巨量模型的市场化表现还有待观察。与会专家抛砖引玉指出，希望可以在中文输入法、语音翻译质量（特别是方言场景）、谣言识别、智能客服、客户端个性化推荐等场景上看到巨量模型有所作为。

不过也有专家指出，源1.0主要针对的是语言模型，但当前实际业务中，多模态模型需求是个趋势，他们希望源1.0不仅是针对中文文本的模型，在视频、图片、声音等多模态语境甚至是多语种语境中也能有所作为。

对于巨量模型低功耗落地的问题，浪潮信息副总裁刘军回应称，人工智能巨量模型在发展过程中，势必会经历“把一本书读厚，再把一本书读薄”的过程。浪潮人工智能研究院正在基于对巨量模型规律的了解和掌握，用一些科学和技术方法在保证模型效果的情况下，降低参数，进而降低使用功耗和在产业落地的门槛。“至于能不能降到像大家非常关心的在手机上用，我们今天不能保证，但是至少会朝着这个方向去做。”刘军说。

从技术上来说，专家们也表达了对巨量模型的可解释性和表现稳定性上的期待，原因在于，在实际落地的过程中，巨量模型即使有90%的可靠性，另外10%的风险也会给实际应用带来业务上的挑战。

当然，源1.0模型的成功也让学界和产业界都看到了巨量模型背后的奇妙之处。“为什么在学习了海量数据集之后，计算机可以自己解释海量问题？它背后的计算肌理是否发生了变化？”这些问题都要留待更深入的研究。

“浪潮今天已经把这个模型训练出来了，证明了效果，下一步会开放出来，让学术界和产业界大家都去用。这样使得我们在这方面的巨量人财物的投入能够成为学术界和产业界前进助推剂。”刘军总结。他相信，在学界和产业界的深入合作中，领先的智能模型、以及杀手级应用一定能够成为推进社会智能化的一部分。

-----------华丽分割线----------

2021全球数字化大会将落地浙江上虞，一方面将受益于浙江数字化建设红利，带来宝贵的数字化实践，另一方面，基于中国最大的CIO社群ITValue的资源整合能力，也将为浙江企业数字化转型带来更多的业务创新资源和合作机会。

大会时间：2021年10月14-17日

大会地点：浙江上虞天玥开元名都大酒店

扫描二维码或点击阅读原文，即刻报名这场中国最大的CIO峰会。

↓↓