#今日论文推荐#不盲追大模型与堆算力,沈向洋、曹颖与马毅提出理解 AI 的两个基本原理：简约性与自一致性

#今日论文推荐#不盲追大模型与堆算力,沈向洋、曹颖与马毅提出理解 AI 的两个基本原理：简约性与自一致性

近两年，“大力（算力）出奇迹”的大模型成为人工智能领域多数研究者的追求趋势。然而，其背后巨大的计算成本与资源耗费问题也弊端渐显，一部分科学家开始对大模型投以严肃的目光，并积极寻求解决之道。新的研究表明，要实现 AI 模型的优秀性能，并不一定要依靠堆算力与堆规模。

深度学习火热十年，不得不说，其机遇与瓶颈在这十年的研究与实践中已吸引了大量的目光与讨论。
其中，瓶颈维度，最引人注意的莫过于深度学习的黑盒子特性（缺乏可解释性）与“大力出奇迹”（模型参数越来越大，算力需求越来越大，计算成本也越来越高）。此外，还有模型的稳定性不足、安全漏洞等等问题。
而本质上，这些问题部分是由深度神经网络的“开环”系统性质所引起。要破除深度学习的 B 面“魔咒”，单靠扩大模型规模与堆算力或许远远不够，而是要追根溯源，从构成人工智能系统的基本原理，从一个新的视角（如闭环）理解“智能”。
7月12日，人工智能领域的三位知名华人科学家马毅、曹颖与沈向洋便联名在arXiv上发表了一篇文章，“On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence”，提出了一个理解深度网络的新框架：压缩闭环转录（compressive closed-loop transcription）。
这个框架包含两个原理：简约性（parsimony）与自洽性/自一致性（self-consistency），分别对应 AI 模型学习过程中的“学习什么”与“如何学习”，被认为是构成人工/自然智能的两大基础，在国内外的人工智能研究领域引起了广泛关注。

论文题目：On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence
详细解读：https://www.aminer.cn/research_report/62d674a77cb68b460feed0e5https://www.aminer.cn/research_report/62d674a77cb68b460feed0e5
AMiner链接：https://www.aminer.cn/?f=cs