以下是针对 LLaMA2-7B 的详细分阶段解释与代码示例,涵盖训练、手动生成、Logits 提取和自动生成,输入均为 "Once upon a time,"
,目标输出为 "there was a cat."
。代码包含内部实现的简化逻辑。
一. 训练阶段的 model(inputs, labels=labels)
目标与流程
- 输入:文本
"Once upon a time,"
,右移一位作为标签(labels
)。 - 任务:训练模型预测下一个 token(自回归语言建模)。
- 核心步骤:
- 输入序列:
input_ids = [token_0, token_1, ..., token_{n-1}]
(长度为n
)。 - 标签序列:
labels = [token_1, token_2, ..., token_n]<
- 输入序列: