星辰与智慧的宇宙之舞：KUMO生成性评估AI思维之旅

大型语言模型（LLM）以常常令人惊叹的超凡推理能力震撼着我们的世界。然而，一个困扰我们的疑问依然存在：这些模型是否真的理解复杂问题？它们是否真正在推理，还是仅仅是在重复从海量网络数据中记忆下来的模式？在如今这种基准数据集一旦公开便可能在后续训练中被模型“记住”，从而使传统静态测试结果受到污染的时代，一个名为KUMO的新型框架正冉冉升起——这是一种动态且生成性的评估环境，旨在评测推理的本质。

本文将带您一起探索KUMO框架——一个精心设计的推理游戏，它将符号推理引擎和先进的大型语言模型结合在一起，以构建和评测多步骤、多轮次的复杂任务。正如宇宙中的星辰在一场华丽的舞蹈中相互辉映，KUMO为我们展现了动作、结果和逻辑排除之间那优雅而精妙的交互，透视了AI推理的内在运作机制。让我们启程前行，看看当科学遇上艺术，当算法揭示逻辑与创造力的精妙互动时，会擦出怎样的火花。

---

🌌 推理评测的新边界

大型语言模型的发展就像见证了一颗新星的诞生——充满了无限潜力与神秘。传统的评测基准，大多依赖固定答案的结论型测试，已无法满足今天对抗数据集污染的需求。由于公开的标准测试一旦被后续模型训练引用，模型成功很可能仅仅是记忆效应的体现，而非真正意义上的推理。

KUMO重新定义了评测过程，它通过在动态生成任务的方式迫使模型“深思”而非简单重复答案。这一框架自动生成多样且动态可调的推理任务，让评测重心从最终答案转向每一个推理步骤。在KUMO中，评估对象不再仅仅是最终结论的正确性，而是沿着推理路径的每一步，检验模型是否遵循了严谨而有效的推理过程。

KUMO的核心思想便是“推理游戏”。在这个游戏中，模型需要在众多可能的选项中做出选择，以排除错误的假设。例如，设想一个医疗诊断的场景：可能的“真相”代表不同的疾病，而“动作”则是各种诊断测试。每一次测试都会产生一个结果，从而排除一些疾病。目标是用尽可能少的测试次数准确找出患者患有的真正疾病。这样的游戏式设置正是现实问题求解的写照，每一步行动都至关重要。

---

🧬 KUMO的诞生：一个关于真相、行动与结果的逻辑游戏

KUMO的内核在于它巧妙地模拟了在部分可观测信息下的决策过程。每个游戏实例都由以下几个关键要素构成：

• 真相集合 (T = {t₁, t₂, …, tₙ})
  这是一个有限且可数的潜在真相或假设集。在医疗诊断情境中，它们就可以代表各种疾病。

• 行动集合 (A = {a₁, a₂, …, aₘ})
  模型或玩家可以采取的各种行动，就像一系列不同的诊断测试。

• 结果 (O)
  每个行动 a ∈ A 都映射到其相应结果 oₐ，这些结果被设计成能够排除某些真相。

• 知识手册 (K)
  这是描述真相、行动及结果之间关系的文档，仿佛为游戏提供操作说明，帮助参与者理清推理过程中的所有背景知识。

在每一局游戏开始时，系统会秘密设置一个真实的真相，而其余真相则标记为无效。随着游戏进行，玩家（或LLM）不断选择行动，观察相应的结果，并利用所获得的信息排除错误选项。目标是在行动次数越少越好的前提下，准确锁定那个有效真相。这个过程不仅考验效率，也验证了模型在部分可观测、动态环境下调整策略的能力。

一个简化流程可以这样展示：

阶段	描述
1. 游戏初始化	系统设定一个真实的真相 t⋆ 并定义所有潜在解答（例如各种疾病）。
2. 行动选择	模型选择一个行动（例如，下达一个诊断测试的指令）。
3. 结果观察	模型获得该行动对应的结果，并据此排除某些疾病。
4. 迭代推理	重复这一过程，直至模型能以最少的行动数准确定位出唯一正确的真相。

借助KUMO的结构，评测过程从仅验证最终结论的正确性转向追踪推理路径的精确性与效率，让我们得以深入理解模型的思维轨迹。

---

🔍 幕后揭秘：基于SAT的任务生成引擎

构建这样一个动态且复杂的挑战并非易事。KUMO采用了一条精密的多阶段流水线去自动生成任务。其中，一个关键组件便是SAT（可满足性）求解器，它确保每个任务实例都在逻辑上自洽且具有足够的挑战性。

流水线的各个阶段

1. 领域提议
   首先，借助一个强大的大型语言模型，系统会根据游戏定义提出各种现实或假设场景——这些场景便是我们所说的“领域”。这些领域可以涵盖医疗诊断、化学物质检测、教育评估，甚至是超现实的跨维实体识别。

2. 种子配置生成
   对于每个领域，系统会生成基本要素，如针对具体情境设计的真相列表（例如，某些疾病或材料属性）以及各种行动（例如，各种诊断测试或实验程序）。结果则被设计为：当采取某个行动时，会排除某些真相——这正是基于域知识制定的逻辑。

3. 任务实例生成
   随后，从全局真相集合T_univ和全局行动集合A_univ中随机采样出一个子集 T_sub 和 A_sub，从而构造出一个独立的游戏实例。在这个过程中，SAT求解器会确保每个生成的任务中，行动与真相之间具有足够的逻辑关系。形式上，给定 T_univ 和 A_univ，任务实例通过 T_sub ⊆ T_univ 以及类似衍生出的 A_sub 构成，而一个有效真相则隐藏其中，而其它真相则为无效。

   为了说明这一点，我们来看一个用于KUMO内部最优搜索算法中的公式：
   $$B=\sum _{t\in T_{\text{current}}}$$