大模型理论基础-第一章（大模型基础）

最新推荐文章于 2024-10-07 06:31:57 发布

The_Blue_Fire

最新推荐文章于 2024-10-07 06:31:57 发布

阅读量580

点赞数 18

分类专栏： DataWhale《大模型理论基础》学习笔记文章标签：机器学习人工智能

本文链接：https://blog.csdn.net/The_Blue_Fire/article/details/135594004

版权

2 篇文章 0 订阅

订阅专栏

本文讨论了大模型的基础，如语言模型的定义，自回归模型的机制，以及温度控制的随机性。还回顾了历史发展，涉及N-gram和神经语言模型的优缺点，以及大规模语言模型带来的问题，包括可靠性、社会偏见、有害内容和安全风险，以及法律层面的考虑。

摘要由CSDN通过智能技术生成

大模型基础

温度：控制模型的随机性
- 比如在chatgpt中就有temperature参数，用户通过改变temperature参数，调整模型输出的内容的多样性和随机性。
在自回归语言模型中生成整个序列，我们需要一次生成一个令牌(token)，该令牌基于之前以生成的令牌进行计算获得：
- $\begin{aligned} \text { for } i & =1, \ldots, L: \\ x_i & \sim p\left(x_i \mid x_{1: i-1}\right)^{1 / T}, \end{aligned}$
  
  其中 $T≥0$ 是一个控制我们希望从语言模型中得到多少随机性的温度参数：
- T=0：确定性地在每个位置 i 选择最可能的令牌 $x_{i}$
- T=1：从纯语言模型“正常（normally）”采样
- T=∞：从整个词汇表上的均匀分布中采样
"退火"
- 这个术语来源于冶金学，其中热的金属会逐渐冷却以改变其物理性质。在这里，它类比的是对概率分布进行调整的过程。"退火"分布是通过将原始概率分布的每个元素都取幂 $1/T$ ，然后重新标准化得到的新分布。当 T ≠ 1时，这个过程会改变原始概率分布，因此从"退火"分布中采样得到的结果可能与对每一步的条件分布应用 T 并进行迭代采样的结果不同。