AI 提示词（Prompt）进阶一：Token 是什么？

一、引言

在我们开始探索 ChatGPT 的世界之前，让我们先来了解一下什么是“token”。这个概念对于理解 ChatGPT 至关重要。

二、什么是 Token？

想象一下，你正在阅读一本书，但是这本书的每个字都是单独剪切出来的。在 ChatGPT 的世界里，这些单独的字就像是“token”。

简单来说，token 是将文本分割成更小部分的一种方式。这些小部分可以是单个字、词或者短语。就像搭积木一样，ChatGPT 通过这些 tokens 来理解和生成语言。

三、Token 在 ChatGPT 中的作用

理解语言：ChatGPT 通过分析这些 tokens，就像孩子学习语言一样，逐渐理解单词的意义和如何将它们组合起来。

生成回复：当你向 ChatGPT 提问时，它会将你的问题分解成 tokens，然后再组合新的 tokens 来构造回答。

提高效率：使用 tokens 可以让 ChatGPT 更快地处理和理解大量的文本，就像通过拼图块快速构建图像一样。

GPT 实际是将我们输入的文字转换成 token，然后通过 GPT 模型预测需要输出的 token，最后再将 token 转换成文字，然后再输出给我们。

也就是说 GPT 只能理解 token