【深度学习】常见模型-GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）

🔹 GPT（Generative Pre-trained Transformer）

1️⃣ 什么是 GPT？

GPT（Generative Pre-trained Transformer，生成式预训练 Transformer）是由 OpenAI 开发的基于 Transformer 解码器（Decoder） 的 自回归（Autoregressive）语言模型。
它能够通过 大量无监督数据预训练，然后 微调（Fine-tuning） 以适应特定任务，如 文本生成、对话系统、代码生成等。

---

2️⃣ GPT 的关键特点

✅ 基于 Transformer 结构：使用 多层自注意力（Self-Attention） 机制建模文本序列。
✅ 单向（左到右）训练：不同于 BERT 的 双向编码，GPT 仅使用 前向信息 进行预测。
✅ 自回归（Autoregressive）生成：通过 逐步预测下一个词 来生成文本。
✅ 大规模预训练 + 任务微调：先在 海量数