2022年11月30日,人工智能公司OpenAI推出了 AI 聊天机器人ChatGPT,在短短两个月的时间里,活跃用户数突破一亿,成为史上用户数增长最快的消费级应用。ChatGPT成功背后是OpenAI训练的1750亿参数模型GPT-3。一时间AI大模型迅速成为时代焦点,微软百亿美元投资OpenAI,谷歌、特斯拉、百度、阿里、小米等国内外互联网巨头在几个月的时间内纷纷推出自己的AI大模型,OpenAI迅速迭代出GPT-4,几乎每个月都至少有一家科技大公司入局训练大模型,人工智能成为当前最炙手可热的赛道。
然而就在这样一个市场狂欢、科技巨头纷纷“走火入模”的时刻,AI大模型的领军者,OpenAI,却给市场浇了一盆冷水。2023年4月18日在麻省理工学院的活动中,OpenAI的CEO Sam Altman在演讲中警告称:“我们已经处在大模型时代的尾声”,并表示如今的AIGC发展中,将数据模型进一步做大,塞进更多数据的方式,已经是目前人工智能发展中最后一项重大进展,并且还声称目前还不清楚未来的发展方向何去何从。
如果抛开过热的市场预期和浮躁的跟风模仿去分析问题的本质,Altman对未来AI的发展方向是清晰而准确的。其说法侧面道出了OpenAI乃至整个AI赛道参与者目前所面临的现实困境:
1. 可用数据枯竭带来的数据瓶颈
OpenAI最早的语言模式是GPT-2,于2019年公布,发布时就有 15亿参数,此后随着OpenAI研究人员发现扩大模型参数数量能有效提升模型完善程度,真正引爆AI行业浪潮的GPT-3.5发布时,参数数量已经达到了1750亿。但人类互联网历史上被保留下来的各种高质量语料,已经在 GPT-3以及后续发布的GPT-4的学习中被消耗殆尽。大模型参数数量仍然可以继续膨胀下去,但对应数量的高质量数据却越来越稀缺,因此增长参数数量带来的边际效益愈发降低。
2. 算力爆炸导致边际收益递减带来的经济效益瓶颈
AI三大核心要素是数据、算法和算力,而算力的发展是最为迅速的一环。2020年OpenAI就发布分析报告,从2012年开始,AI训练所用的计算量呈现指数增长,平均每3.43个月便会翻倍,远高于摩尔定律的18个月翻倍的速度。大模型正是在这一背景下诞生的。依托飞速发展的算力,简单粗暴地堆砌参数是提升模型能效的捷径。机器学习先驱Richard S. Sutton着名的文章《苦涩的教训》里开篇就曾说道:“70年的人工智能研究史告诉我们,充分利用计算能力的一般方法最终是最有效的方法。”OpenAI秉承这一