爱丽丝梦游仙境，把大模型打回原形

在如今AI无处不在的时代，许多人认为AI已经无所不能了。

AI代写文章、代写代码、AI绘画甚至AI制作PPT等功能，可能会让你觉得AI已经超越了人类。

然而，最新的一个研究表明，AI在处理一些简单的逻辑推理问题时，水平甚至还不如小学生。

这就是“爱丽丝梦游仙境”测试，研究人员设计了一项名为“爱丽丝梦游仙境”（AIW）的测试。

这个测试对我们来说并不算难：“爱丽丝有N个兄弟，她还有M个姐妹，请问爱丽丝的兄弟有多少个姐妹？” 

只需稍加思考，答案显而易见：M+1（爱丽丝的姐妹数量加上爱丽丝自己）。

然而，当研究人员让当前最先进的语言模型如GPT-3.5/4、Claude、Llama等回答这个问题时，结果却令人吃惊。

论文地址：

https://arxiv.org/abs/2406.02061

GPT-4o

GPT3.5

LLaMa3-8B

再看一下国内的大模型表现如何。

讯飞星火

清华智浦GLM4

月之暗面Kimi

阿里通义千问2.5

国内最新的大模型也有一半的回答是错误的。

这暴露了目前很多大模型在推理能力上的局限性。

来自知名开源AI研究机构LAION的团队发表了一个事实：即使是当今最先进的AI模型，其推理能力也几乎达不到小学生的水平。

LeCun，那个著名的AI大佬，在评论这一现象时也指出：推理能力和常识不应与存储和检索大量事实的能力混为一谈。

推理能力和搜索引擎不一样，很多大模型表现的好，有时会被认为是因为大模型学习了大量的知识，而这些知识被编码存储在了大模型的权重中。

这也是现在很多人在讨论的一点：大模型到底是自己创建了一个巨大的知识库用来索引，还是它真的学到了一些知识呢？

不知你怎看待这个问题呢？

---

我的技术专栏已经有几百位朋友加入了。

如果你也希望了解AI技术，学习AI视觉或者大语言模型，戳下面的链接加入吧，这可能是你学习路上非常重要的一次点击呀

CV视觉入门第三版(细化版)完成

我的Transformer专栏努力更新中

最后，送一句话给大家：生活不止眼前，还有诗和远方，共勉~