有关「推理·Reasoning」

节选自我于24年初所写的「融合RL与LLM思想，探寻世界模型以迈向AGI · 中篇」散文式风格文章，读起来不会过于晦涩，感兴趣的小伙伴儿可以访问我的主页置顶或专栏收录，并制作了电子书供大家下载（目前下载量已破万，有需要的小伙伴可以关注私信我），因为属于中长篇技术散文，后续将持续摘录部分内容形成一些观点笔记

节选内容↓

通过对上述两篇论文的核心观点进行总结，我们发现其两篇论文中都在尝试将中间推理过程与原始问题上下文进行联合采样，以对其隐空间状态的中所表征的推理(思维)的潜变量进行学习，即“过程学习”，不同的是两者所采用的模型结构及数据样本各有差异和独特性。同时，为了更深入的探究「系统二·慢思考」认知模式的本质，而不应仅仅停留在对思维的表征学习和其潜在变量对思维的简单表示这一静态表象层面，如这里提到的表征学习和潜变量的表示在认知推理过程中是如何体现和运用的？因此，我们需要跨越「系统二·慢思考」的这种更长程的认知推理过程的中回归第一性原理，寻找在两篇论文中的各自所尝试使用的创新训练方法和学习模式，与「系统二·慢思考」这种认知能力在底层有着哪些本质的联系。

如论文中的DoT中所提及的：「本质上，DoT逐渐更新表示隐藏空间中思维的一系列潜变量，允许推理步骤随时间扩散」中，其「潜变量」「隐藏空间」「思维」其对于模型系统二的推理或思维路径的背后更底层的本质是指什么？

为了更进一步探索背后的本质问题，为了方便大家回顾阅读，正如本节开头我的那条某某hu论坛回答的一样（见图）

在回答中的前半部分，表述了对「系统二·慢思考」的一种认知推理形式上的阐释，对应的这篇DoT论文中所提及的「潜变量的表示或表征」，实际上体现的是在推理过程中位于不同状态空间的中的隐状态的动态过程映射，且映射两端的不同状态空间所表示的状态内涵包罗万象，如模型输入侧的像素空间、符号序列空间，模型隐空间层的不同特征变换空间、决策动作空间、推理思维空间，再到模型输出的结果侧的tokenize表示空间，其中在模型中的多个隐空间层，在形式表示上存在着对多层特征的抽象与变化过程，以及对多步骤的思维推理模式的演绎过程。而这种过程或模式，进一步抽象为更为简单的数学形式化表达则即是：建立潜变量对神经元信号状态(w·h)的抽象表示，在推理过程中进行数学变换操作，最终通过变换计算得出最终的结果，即形成了潜变量对某种状态空间状态的表征这一动态过程..