大模型学习读书笔记01——大模型基础

大模型学习读书笔记01——大模型基础

1、什么是语言模型

语言模型

• 语言模型时指的是一种数学工具，它用来预测或者理解自然语言（如英语或汉语）中的句子或短语有多么常见或自然。
• 评判由一些单词排列组合而成的句子是否更像真正的、自然的句子。（通俗的说是否像人话）
• 语言模型的经典定义是一种对词符（token）序列的概率分布。每个token在真实世界中都存在一定的概率，通过对一个句子中的所有token的联合概率来作为对一个句子优劣的评判。
• 语言模型不仅可以评估语句，还可以依赖语言模型对已知文本或信息生成新的文本或信息。

自回归语言模型

• 利用已知的单词来预测接下来的单词，也就是在上述语言模型中介绍的通过语言模型生成新文本或信息。
• 举例说明生成文本的过程：
  生成的下一个单词是一个概率分布，有的单词概率高一些，有些低一些，可以通过采样来选择其中的一个，可以通过设置温度来影响单词的选择。
  这里的温度可以理解创造力，温度越低越固定，保守（越会选择概率高的单词），温度越高，越活跃，越有创造力（也有可能更会胡说八道，因为可能会选择概率低的单词）

2、大模型相关历史回顾

N-gram

统计数据中每个单词出现的概率，N代表几个字，第N+1个字通过前N个字来预测。
如果N太小无法捕获长距离的依赖，如果N太大统计上将无法得到好的概率估计（也就是现实文本中很少或没有）

神经语言模型

RNN
Transformer

3、风险

• 可靠性
• 社会偏见
• 有害性
• 虚假信息
• 安全性
• 法律考虑
• 成本和环境影响
• 获取

注：

笔记内容来源于datawhale大模型理论基础内容
原内容地址：GitHub地址