【前沿观点】港大马毅：「知识」≠「智能」

探索智能的本质：马毅教授的创新之路

在人工智能领域，当众人纷纷投身于 Scaling Law（规模定律）的信仰之时，马毅教授却选择了一条少有人相信的路。他坚信，模型无所谓大小，重要的是机制是否正确，这才是智能的本质。

在他看来，真正的智能不仅仅是数据和算力的堆砌，而是更深层次的理解和洞察，是对数据压缩、模式识别和自主学习的深刻把握。

颠覆性的白盒理论

2023年6月，马毅教授带领的团队开创性地提出了一种「白盒」Transformer 构架——CRATE，能在保持模型良好性能的同时，大大增强模型的可解释性，试图解决现有深度学习模型普遍难以解释的「黑盒」问题。同年9月，马毅教授创立了「忆生科技」。他认为人的记忆就是对世界的建模，「忆生」就是「记忆生成」的缩写。虽然记忆本身是死的，但生成可以是活的。

马毅教授提出，智能是获取新知识、改进旧知识的能力，而知识只是智能系统活动的结果积累。他认为，GPT-4像一座图书馆，尽管拥有丰富的知识，但没有智能；而一个刚出生的婴儿，尽管知识少，但更有智能，因为他们可以自主学习，弥补现有知识的不足。

Scaling Law的瓶颈及应对

在接受AI科技评论的访谈中，马毅教授分享了他对当前大模型研究路径的看法。他指出，尽管Scaling Law在视觉和自然语言的结合方面遇到了瓶颈，但许多技术模型仍然非常粗暴，甚至是一种相对原始的方法。他强调，需要找到正确的系统来扩展，而不是不计成本和效率地扩展。

为了应对黑盒模型的局限性，马毅教授提出了一种更为合理的优化方式，即「最小化方法」（Minimonistic Approach）。这种方法通过用最简约的方式设计模型，提升模型的可解释性和可控性。

马毅教授的创业动机之一也是为了验证白盒理论的实际应用。他认为，在智能领域，规模虽然有效，但扩展正确的系统才是关键。顶尖院校在现有技术上做出领先工作，而工业界则是实现这些想法的好地方。

白盒理论的核心：4C

马毅教授的白盒理论包括四个核心要素：一致性（Consistent）、可控性（Controllable）、正确性（Correct）和完备性（Complete）。

• 一致性：模型对世界的理解要与物理世界保持一致。
• 可控性：生成具体细节并控制内容。
• 正确性：扩展正确的系统，而不是黑盒子。
• 完备性：实现系统的完整性。

他认为，学习是增加我们对世界的信息理解和获取能力的过程，这在学术界被称为「信息增益」（Information Gain）。通过优化信息增益，神经网络可以实现必要的知识，去除冗余。

深度网络只是实现智能目标的手段，而不是目的。智能的本质在于不断进行改进和增加新的知识。