测试下来,大部分大模型对树上打鸟这个问题是答不对的,记得只有文心、chatglm等少数大模型可以答对。
问题:树上10只鸟,打死2只,还有几只?
回答如下:
可以看到Llama2-13B Gemma-7B Llama3-8B的回答全都是还剩8只鸟,数学上是对的,但是从逻辑上或者说脑筋急转弯的角度看,是不对的。
让我们看看ChatGLM3的回答吧:
Welcome to ChatGLM.cpp! Ask whatever you want. Type 'clear' to clear context. Type 'stop' to exit.
Prompt > hello
ChatGLM3 > Hello! How can I help you today?
Prompt > 树上7个鸟,打死一只,还有几只?
ChatGLM3 > 如果你打死一只鸟,其它的鸟很可能会被吓飞。因此,在打这样您就可以份树上的鸟的情况下,可能一只都不剩。
非常完美的回答,ChatGLM3真不错!
具体ChatGLM3的安装使用可以参考这篇文档:chatglm.cpp编译与执行_chatglm-cpp源码下载-CSDN博客