AI模型是否是越大越好

不知不觉间，深度学习已经火热了十年，在深度学习领域，模型大小是一个非常重要的话题。在过去的几年中，随着神经网络模型的复杂度不断提高，模型大小也越来越大。大模型可以提供更高的表现力，更好地捕捉数据中的模式和规律。

然而大模型也使得 AI 模型的规模不断增大，计算成本不断增加，且在落地应用中出现了许多问题，如神经崩溃导致学习到的表征缺少多样性，模式崩溃导致训练缺乏稳定性，模型对适应性和对灾难性遗忘的敏感性不佳等等。

AI模型更大并不一定更好。虽然大型模型可以提供更高的表现力和更好的泛化性能，但它们需要更多的计算和存储资源。

人工智能领域的三位知名华人科学家马毅、曹颖与沈向洋联名在arXiv上发表了一篇文章，“On the Principles of Parsimony and Self-Consistency for the Emergence of Intelligence”，提出了一个理解深度网络的新框架：压缩闭环转录（compressive closed-loop transcription）。

这个框架包含两个原理：简约性（parsimony）与自洽性/自一致性（self-consistency）：

所谓简约性，就是“学习什么”。智能的简约性原理，要求系统通过计算有效的方式来获得紧凑和结构化的表示。

自洽性是关于“如何学习”，即自主智能系统通过最小化被观察者和再生者之间的内部差异来寻求最自洽的模型来观察外部世界。

仅凭借简约原理并不能确保学习模型能够捕获感知外部世界数据中的所有重要信息。

总的来说，AI模型的大小是一个需要综合考虑多个因素的问题。