qingl00001的博客

原创 自学遇到问题，无法理解“从零构建大模型”中的一段话

摘要：学习大模型构建时，在文本生成章节遇到理解困难。主要困惑在于：经过归一化处理后，最后一个词元的向量为何能表示预测下一个词的概率。这与之前学习的因果注意力机制原理相矛盾，因为输入文本的词元处理似乎与预测无关。配图显示了相关模型结构和计算过程，但仍未能解决这一概念理解问题。