关于「表征·Representation」- AGI探索过程中的意义、价值与乐趣 Ⅵ

在持续探索AGI的过程中，回顾LLM历程，其所采用的自回归NTP方式为语言这种符号化序列结构的大规模非监督学习提供了一种非常巧妙而自然的方法（当然，这种方法也非语言模型所独有的，如Yan LeCun所推崇的JEPA本质上亦是这种mask方式，sora的patches亦是），因此，此种模型训练范式与自然语言这种作为人类上千年所创造并沿用至今的结构灵活、语义丰富的符号化表征工具是高度匹配且自适的（当然这里大概率是基于人类基于构筑的语言学在充分的理解自然语言的结构特征与语义表达的特性基础上，洞察并创造的对应训练模式，如早期的w2v，cbow，Skip gram..的尝试及运用），而且作为当前人类所记录、积累的全网文本数据或线下纸质记录文字所覆盖的内容广度在当下LLM演进的窗口下与scaling law又是天然契合的。

但我们仍需要清醒的认识语言本身对抽象概念世界与真实物理世界中所囊括蕴含的事物表征的局限性，如抽象的代数运算、几何空间构型、形式化的逻辑推理与公理系统、再到物理规律、属性、性质等的表征。就如前一阵子Ilya点赞的那篇《柏拉图表征假说》（Platonic Representation Hypothesis）所指的“ 不同的AI模型正在趋向于、互补为一个统一的现实表征 ”的那样，不同的模型对不同数字化符号与信息的表征的模式的差异。

这里针对Sora这种CV视觉模态的模型有必要跟大家进行一下说明：我们知道Sora是采用的DiT的模型结构并采用类似的预训练方法完成的模型训练，并在其中采用了petches作为语言符号的token来进行嵌入表征。而之所以采用类似LLM预训练方法，其原因也许是时空CV数据与语言文本符号在其时空结构上对于模型训练任务模式来说在某种形式上的本质上是同构的，且人类也积累了丰富的CV数据。因此人们能够相对容易的将LLM的很多训练方法和技巧通过某种调整优化或变化快速的移植到Sora训练的过程当中来。而涉及到复杂的推理范畴，其内部所蕴含的结构、路径、构象也许与人类现存的自然语言文本记录在所表达的在认知维度的时空结构上存在着很大不同，但是否在某种形式上也存在本质上的同构呢？因此才有了将LLM与RL思想相融合统一探索的想法和一些路径，下一篇将从另外一个角度继续为大家进一步阐释:)