真的没有AI能通过草莓测试？GPT-4o也不行！

最新推荐文章于 2024-08-18 21:31:01 发布

木易AI信息差

最新推荐文章于 2024-08-18 21:31:01 发布

阅读量384

点赞数 9

文章标签：人工智能深度学习机器学习 AI gpt

本文链接：https://blog.csdn.net/weixin_40774379/article/details/141235132

版权

大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效率提升，AI行业洞察。关注我，AI之路不迷路，2024我们一起变强。

草莓测试，一项神奇的“挑战”，用来考验AI模型是否能够进行深入的推理和解决问题，而不仅仅是重复已知的信息（训练数据）或简单地回答问题。最原始版本的草莓测试要求AI分析一个单词如strawberry中特定字母如r出现的次数。就是这么一个看似完全没有任何难度的问题，却难倒了一众AI，包括目前最强大的GPT-4模型。

草莓测试

英文版提示词：How many letters "r" in the word strawberry?

中文版提示词：Strawberry一词中有多少个字母“r”？

1. GPT-4o

GPT-4o的回答完全错误。对于这个问题，GPT-4o先是给出了2个“r”的错误答案，在接下来的追问中，对于“r”出现的位置也是出现了幻觉，表示一个“r”是在“a”后（错误），一个“r”是在“y”前（正确，但只识别出了一个“r”）。

2. GPT-4 Turbo

回答正确，但又不完全正确。表面上看，GPT-4 Turbo的回答正确，准确地指出strawberry中字母“r”出现了3次，并在后面的追问中正确地说明了“r”出现的大致位置范围。

但当我要求GPT-4 Turbo指出这三个“r”的具体位置时，它却无法完全准确地指出第几个字母是“r”，尝试了多次，均会出现幻觉。

3. GPT-4o mini

回答正确，但又不完全正确。和上面的GPT-4 Turbo类似，GPT-4o mini也能够得出3个“r”这个答案，但在指认“r”的具体位置时，出现幻觉。

4. Gemini 1.5 Pro

回答错误。本次测试的是Gemini 1.5 Pro的最新实验版本，该版本的Gemini 1.5 Pro模型曾一度在LLM竞技场排行榜中夺冠（目前已被ChatGPT-4o-latest模型击败）。

5. Claude 3.5 Sonnet

回答错误。虽然Claude 3.5 Sonnet保持了一贯地在文学方面的高水平，甚至是说出了strawberry每部分的词源和词义，但并没有识别出“berry”中出现了2次“r”。

6. Kimi

回答错误。可以看到，虽然Kimi的回答完全错误，但它和大多数AI模型一样，是正确地将strawberry这个单词分割为了2部分“straw”和“berry”，这一点LLM模型背后的运行原理有关。不过Kimi在指出“r”的位置时，均指认错误。

7. 阿里通义千问

回答错误。通义千问关于“r”数量和位置的回答均错误，出现了AI幻觉。

8. 字节豆包

回答部分正确。豆包能够正确识别出字母“r”出现的数量，但在指认“r”出现的位置时，指出的3个位置均错误。

9. 零一万物万知

回答错误。零一大模型认为“r”出现了2次，并在接下来的追问中，并没有正面回答为什么有2个字母“r”。

10. MiniMax海螺AI

回答正确，表现亮眼。在参加测评的10个AI模型/工具中，MiniMax海螺AI的表现是最好的，没有之一。首先，海螺AI正确地判断出字母“r”出现了3次。在接下来的解释中，关于“为什么”的解释稍微有点牵强，欠缺说服力。但在指认“r”出现的位置时，海螺AI也正确地指出了第2、7、8这三个位置（位置以0开头）。

仔细分析海螺AI回答该问题的过程，就可以发现它其实是用了很“取巧”的一种方式：代码计算。比如在计算“r”的个数时，用了python里的count方法；在寻找“r”的位置时，是对整个单词遍历后得出的答案，这也是为什么它会给出2、7、8这三个位置，而不是3、8、9，因为python列表默认是从0索引。

虽然这样做可能没有正确反映模型本身的推理能力，但海螺AI能自动利用代码进行推理并得出了正确答案，也不失为一个好方法。