最近2年,以大语言模型为代表的人工智能迎来大爆发,称之为大模型狂潮也不为过。
在这种浪潮下,海量的数据、超强的算力,以及持续迭代的算法,三者之间以类似“神经网络”的相互作用,产生了复杂的行为,催生出了一系列的明星AI模型。从这个意义上讲。“算力”和“数据”本来就是AI大模型中缺一不可的两大基石。
有相关统计,2018年以来,基于Transformer架构的大模型训练,所使用的算力平均每年增长达到十倍,同时伴随着数据量也水涨船高,以ChatGPT为例,GPT-3含有1750亿个参数,而ChatGPT 4.0则有高达100万亿个参数,后者通过使用更广泛、更多样化的数据,能够生成比前者更准确、更有效的信息,并更深入地了解语言的细微差别。
更有相关预测,到2026年将有80%的企业使用生成式AI,如此高的渗透率意味着更加庞大的算力和数据需求。
因此,数据和算力一样宝贵,也是AI大模型的基座,对于高质量的语料库更是如此。