智源社区周刊：Gary Marcus谈大模型研究可借鉴的三个因素；OpenAI提出视频预训练模型VPT，可玩MC游戏...

汇聚每周必看AI观点、研究和各类资源，不错过一条重要资讯！欢迎扫码订阅，获取邮件推送。点击阅读原文，访问完整文章、资源及观看链接。

观点

“如果我们要关注到预训练大模型缺失的要素，应该关注以下三个关键因素：

1.参考（Reference）:词语和句子并不是孤立存在的。语言是词语/句子与外部世界之间的联系，而大型语言模型中的单词序列及其缺乏与外部世界的联系。

2.认知模型（Cognitive models）：语言系统的最终目标是更新对于世界的，持续但动态的感知。大模型并不产生这样的认知模型，至少没有产生人们能够可靠地加以使用的这种认知。

3.组成（Compositionality）：复杂的整体，在大多数情况下，能够系统地解释其所在的部分，以及这些部分如何组织在一起的方式。像DALL-E这样的系统在涉及组成的问题时，面临显著的挑战。例如，GPT......不能产生反映句子之间结构关系的、可解释的表示。”

——近日，在谈到预训练大模型的缺陷时，纽约大学教授Gary Marcus认为可以从语言学中学到三个重要因素。

“（