【01-大模型基础——语言模型】

---

前言

随着chatGPT从2023年春季受到越来越多的人关注，以chatGPT为首的大模型开始逐渐走入大众视野，也有越来越多的学习者开始了解大模型，本文就介绍了大模型的基础内容——语言模型。

---

一、什么是语言模型（Language Models）？

在自然语言处理（NLP）中，语言模型是其关键部件，而大模型是建立在这个语言模型的基础之上的。语言模型的任务是在预测一段话中句子（词的序列）出现的概率。语言模型是通过对特定序列的单词的存在的概率进行计算的模型。

二、自回归语言模型（Autoregressive Language Models）

假设m个单词的序列为 { ω 1 , ω 2 , . . . , ω m } \{\omega_1, \omega_2, ... , \omega_m\} { ω1​,ω2​,...,ωm​}，他们的概率记为 $P({\omega }_1,{\omega }_2,...,{\omega }_m)$。

由概率的链式法则，以及序列中单词出现的概率是独立事件，可以得到序列 { ω 1 , ω 2 , . . . , ω m } \{\omega_1, \omega_2, ... , \omega_m\} { ω1​,ω2​,...,ωm​}的联合分布：
P ( ω 1 , ω 2 , . . . , ω m ) = P ( ω 1 ) P ( ω 2 ∣ ω 1 ) P ( ω 3 ∣ ω 1 , ω 2 )