我们正处于AI大模型爆发的黄金时期,各大科技巨头纷纷加大在AI领域的投资,特别是在大语言模型和多模态大模型方向。美国投资界把AI大模型看成是一场工业革命级别的机会,如同80年代的PC,95年的互联网。通过AI大模型创新创造出来的增量市场,使得原本在存量市场难以解决的技术难题游刃而解。三星、小米、华为、荣耀等系统/手机厂商都在竞相布局AI大模型赛道,市场竞争与合作正在重新塑造业务链条和行业格局。AI大模型发展如下趋势:
- 大模型会成为数字系统标配,无处不在;
- 开源大模型的爆发使得技术壁垒不是基座模型,而是业务场景结合更紧密的垂域大模型;
- 轻量大模型爆发,会部署在更多终端设备;
- Agent激发大模型潜能,成为超级生产力,几乎成为大模型落地的必要框架;
- 多模态会成为AI大模型标配;
- 大模型推动基础学科取得突破进展。
1. 大语言模型
1.1 语言模型与大语言模型
语言模型的定义?传统语言模型的定义是类似N-gram的马尔可夫链:通过学习大量的文本数据后,给定前k个词能够预测k+1个词的概率。但是广义的语言模型定义是:通过学习大量的文本数据后,能够捕捉语言中的上下文关系,使其能够在给定上下文的情况下预测下一个词或文本内的缺失词。因此,N-gram,Word2vec,BERT,GPT都是语言模型,能力各有侧重。
何为大?ChatGPT出现前,大家倾向于亿级参数规模即为大,如BE