浅析ChatGPT-意义空间和语义运动定律

浅析ChatGPT-意义空间和语义运动定律

之前讨论过，在 ChatGPT 内部，任何文本都可以被有效地表示为一个由数组成的数组，可以将其视为某种“语言特征空间”中一个点的坐标。因此，ChatGPT 续写一段文本，就相当于在语言特征空间中追踪一条轨迹。现在我们会问：是什么让这条轨迹与我们认为有意义的文本相对应呢？是否有某种“语义运动定律”定义（或至少限制）了语言特征空间中的点如何在保持“有意义”的同时到处移动？

这种语言特征空间是什么样子的呢？以下是一个例子，展示了如果将这样的特征空间投影到二维平面上，单个词（这里是常见名词）可能的布局方式。

我们在介绍嵌入时见过一个包含植物词和动物词的例子。这两个例子都说明了，“语义上相似的词”会被放在相近的位置。

再看一个例子，下图展示了不同词性的词是如何布局的。

当然，一个词通常不只有“一个意思”（也不一定只有一种词性）。通过观察包含一个词的句子在特征空间中的布局，人们通常可以“分辨出”它们不同的含义，就像如下例子中的 crane 这个词（指的是“鹤”还是“起重机”？）。

看来，至少可以将这个特征空间视为将“意思相近的词”放在这个空间中的相近位置。但是，我们能够在这个空间中识别出什么样的额外结构呢？例如，是否存在某种类似于“平行移动”的概念，反映了空间的“平坦性”？理解这一点的一种方法是看一下相似的词。

即使投影到二维平面上，也通常仍然有一些“平坦性的迹象”，虽然这并不是普遍存在的。

那么轨迹呢？我们可以观察 ChatGPT 的提示在特征空间中遵循的轨迹，然后可以看到 ChatGPT 是如何延续这条轨迹的。

这里无疑没有“几何上显而易见”的运动定律。这一点儿也不令人意外，我们充分预期到了这会相当复杂。例如，即使存在一个“语义运动定律”，我们也远不清楚它能以什么样的嵌入（实际上是“变量”）来最自然地表述。

在上图中，我们展示了“轨迹”中的几步—在每一步，我们都选择了 ChatGPT 认为最有可能（“零温度”的情况）出现的词。不过，我们也可以询问在某一点处可能出现的“下一个”词有哪些以及它们出现的概率是多少。

在这个例子中，我们看到的是由高概率词组成的一个“扇形”，它似乎在特征空间中朝着一个差不多明确的方向前进。如果继续前进会发生什么？沿轨迹移动时出现的连续“扇形”如下所示。

下面是一幅包含 40 步的三维示意图。

这看起来很混乱，并且没有特别推动通过实证研究“ChatGPT 内部的操作”来识别“类似数学物理”的“语义运动定律”。但也许我们只是关注了“错的变量”（或者错的坐标系），如果关注对的那一个，就会立即看到 ChatGPT 正在做“像数学物理一样简单”的事情，比如沿测地线前进。但目前，我们还没有准备好从它的“内部行为”中“实证解码”ChatGPT 已经“发现”的人类语言的“组织”规律。