2023年AI大模型技术发展与展望

我们正处于AI大模型爆发的黄金时期，各大科技巨头纷纷加大在AI领域的投资，特别是在大语言模型和多模态大模型方向。美国投资界把AI大模型看成是一场工业革命级别的机会，如同80年代的PC，95年的互联网。通过AI大模型创新创造出来的增量市场，使得原本在存量市场难以解决的技术难题游刃而解。三星、小米、华为、荣耀等系统/手机厂商都在竞相布局AI大模型赛道，市场竞争与合作正在重新塑造业务链条和行业格局。AI大模型发展如下趋势：

1. 大模型会成为数字系统标配，无处不在；
2. 开源大模型的爆发使得技术壁垒不是基座模型，而是业务场景结合更紧密的垂域大模型；
3. 轻量大模型爆发，会部署在更多终端设备；
4. Agent激发大模型潜能，成为超级生产力，几乎成为大模型落地的必要框架；
5. 多模态会成为AI大模型标配；
6. 大模型推动基础学科取得突破进展。

1. 大语言模型

1.1 语言模型与大语言模型

语言模型的定义？传统语言模型的定义是类似N-gram的马尔可夫链：通过学习大量的文本数据后，给定前k个词能够预测k+1个词的概率。但是广义的语言模型定义是：通过学习大量的文本数据后，能够捕捉语言中的上下文关系，使其能够在给定上下文的情况下预测下一个词或文本内的缺失词。因此，N-gram，Word2vec，BERT，GPT都是语言模型，能力各有侧重。

何为大？ChatGPT出现前，大家倾向于亿级参数规模即为大，如BE