目录
我们每天都听各个媒体说,这个AI有多厉害,那个大模型AIGC又要干掉多少个工种,那么,LLM的智能,到底发展到什么程度了?能通过图灵测试,能过的了普通话考试吗?
(图灵测试等人工智能起源的基础知识,参考我的文章【AI考证笔记】NO.1人工智能的基础概念-CSDN博客)
一、调戏LLM大模型
(一)制造陷阱——货拉拉拉不拉拉布拉多的梗
你听过这个段子吗,一个女孩,想让货拉拉的车主,拉她的拉不拉多,车主担心狗在车上拉屎,就问拉的多不多,女孩说不多。
好吧,我们来调戏一下大模型!有兴趣的朋友可以去测试chatGPT3.5和4.0以及4.0 turbo,我这里用访问更容易的百度文心一言的3.5和4.0,来给大家试试!
提示词prompt——
请帮我回答如下的问题:一个女孩想要让货拉拉拉拉不拉多,但是货拉拉车主怕拉布拉多在车上拉的很多,女孩说拉的不多。请问最后货拉拉拉没拉拉不拉多?
1.看看3.5的表现
文心一言3.5的回答是:
根据描述,女孩希望货拉拉拉拉不拉多,但货拉拉车主担心拉布拉多在车上会拉的很多。女孩则表示拉的不多。由于描述中并没有明确货拉拉最后是否拉了拉布拉多,因此无法确定货拉拉最后是否拉拉不拉多。
如图:
这明显是被绕迷糊了啊!
居然无法确定!?完全没有推理能力。
有点失望,于是我切到4.0,看是不是更聪明了一点!
2.看看4.0的表现
文心一言4.0的回答是:
根据题目描述,一个女孩想让货拉拉拉拉不拉多,但货拉拉车主担心拉布拉多在车上拉很多。女孩表示拉的不多。因此,根据这些信息,货拉拉车主可能会接受女孩的请求,拉上不多的拉布拉多。
哈哈,这才对呀!而且用了“可能”,还是很懂人情世故的。
(二)用简单推理调戏大模型
经典问题——树上10只鸟的问题来了。
提示词:你好,树上10只鸟,我用枪打死一只,还剩几只?
1.看看3.5的表现
文心一言3.5的回答是:
在解答这个问题之前,我们首先需要明确一些前提条件。
首先,需要了解的是,这个问题存在多种可能性。
- 如果树上的鸟都是聋子,那么开枪的声音并不会吓跑其它的鸟,所以树上还会有10只鸟。
- 如果其它鸟没有被吓跑,但是打死的鸟挂在树上没有掉下来,那么树上就会剩下9只鸟。
- 如果树上的鸟都是正常的鸟,那么其它的鸟会被开枪的声音吓跑,所以树上只会剩下1只鸟。
因此,根据不同的前提条件,答案可能是10只、9只或1只。这个问题的答案取决于你对问题的理解和你想强调的点。
第1点,关于都是聋子的问题,毕竟有个鸟被打死了,如果玩现实,那么这个鸟就掉地上去了,看来这10只鸟是又聋又瞎啊!10只的答案,还是比较无厘头的。
第2点也不对,活的没跑,死的挂树上,没掉下来,那应该是10只,而不是9只。
第3点,默认被打的鸟会挂在树枝上,别的跑了,这个打鸟的挺背,当然,也是活该了。不过,既然可以挂在树上,那掉下来的情况,也该给分析下。
总之,看着很有道理的样子,实际解释的逻辑有错误。
2.看看4.0的表现
文心一言4.0的回答是:
分析题意:
<