Face_FeaR的博客

在前两讲中，我们已经知道了一个非常重要的观念：语言模型本质上是在做“文字接龙”。也就是说，给模型一段输入，它会预测下一个 Token；再把这个 Token 接回去，继续预测下一个；如此反复，最后生成一整段回答。它到底是怎么预测下一个 Token 的？它看到一句话以后，里面发生了什么？为什么同一个词放在不同句子里，模型会知道它有不同意思？为什么 Transformer 可以理解上下文？所谓 Attention 到底在“注意”什么？语言模型里面有没有类似“想法”的东西？

在第一讲中，我们已经知道了语言模型的核心能力：给它一段输入，它会预测下一个 token。也就是说，语言模型本质上是在做“接龙”。那问题来了：如果语言模型回答得不好，我们应该怎么办？很多人第一反应可能是：那就训练它啊那就微调它啊那就改模型参数啊但是对于目前那几个参数巨大的大预言模型来讲，你去训练和微调的成本都是巨大的于是随之而来我们便想曲线救国，有没有一种方法可以不改变模型参数的同时提高大模型回答问题的质量呢有的，兄弟，当然是有的。

现在大家每天都在用 ChatGPT、Gemini、Claude 这类生成式 AI 工具。你问它一个问题，它可以写文章、写代码、翻译、总结、聊天，甚至还可以生成图片、声音和视频。这时候我们很自然会有一个疑问：这些生成式 AI 到底是怎么做到的？它是真的“理解”了我的问题吗？它是在查资料库吗？它为什么有时候会一本正经地胡说八道？它为什么同一个问题问两次，回答可能不一样？它又是怎么记住前面聊天内容的？