一步一步理解大模型：因果掩码

chattyfish

已于 2023-04-20 04:05:49 修改

阅读量4.4k

点赞数 3

文章标签：深度学习机器学习人工智能

于 2023-04-18 23:21:17 首次发布

本文链接：https://blog.csdn.net/chattyfish/article/details/130233221

版权

GPT的训练方法是使用因果掩码（causal mask），让模型在预测当前令牌时不能看到未来的令牌。

在Transformer模型中，自注意力（self-attention）是在整个令牌（token）序列上计算的，包括当前令牌之后的令牌。

在训练期间，我们不希望模型在预测当前令牌时看到未来的令牌而“作弊”。为了防止这种情况，我们使用了因果掩码（causal mask），将所有未来的令牌设置为零，有效地从注意力机制中屏蔽了它们。

这使得模型在进行预测时只能关注过去和当前的令牌，并确保它仅基于每个时间步骤可用的信息进行预测。

具体实现中，这种掩码可以通过原始输入和一个合适的上三角矩阵相乘（或者逻辑与）来得到。

# Causal mask
causal_mask = torch.triu(torch.ones(input_shape[1], input_shape[1]), diagonal=1).bool().to(input.device)

例如，这句话：Cat is too fat. 会生成如下矩阵(假设窗口无限大)：

Cat  <PAD> <PAD> <PAD>
Cat    is   <PAD> <PAD>
Cat    is    too   <PAD>

关注