在现代人工智能的世界里,语言模型(LM)不仅是一台冰冷的计算机器,而更像是一位身怀绝技、智慧博弈的艺术家。它们能够根据给定的问题生成答案,也能对候选答案进行评分判断。然而,当我们试图同时利用生成式与判别式的方法解答问题时,却常常会遇到彼此矛盾的结果。本文将带您走进一个新奇而充满智慧的世界,在这里,我们借助博弈论的力量构建了“共识游戏”,为语言模型揭开了一个全新的解码策略——均衡搜索(Equilibrium Ranking)。接下来,让我们以生动的叙述方式,探索这一过程如何在理论与实践中联袂推动语言模型向更高精度的答案迈进。
🔍 数字迷宫的挑战:语言模型的双重困境
语言模型的问答能力在最近几年取得了飞速进展,但它们在输出答案时常面临两种不同的查询模式。第一种是生成式查询,即通过采样技术直接从输出分布中抽取答案;第二种则是判别式查询,即对候选答案进行评分或排序。直观来看,这两种方式本应达成一致,但现实中却往往出现两个系统“各说各话”的现象。一边是生成的答案与事实背道而驰,而另一边则有可能由于过度依赖评分模型而产生微妙的偏差。
举个例子,设想一个问题:“奥巴马出生在哪个城市?”当我们使用生成式模型让其直接生成答案时,可能会出现多种分布较为平均的可能性;而利用判别式模型打分时,