大模型会胡诌,如果说大模型的优点,那一定是:“它胡诌的水平登峰造极”.
如果一个人类说谎,你很容易就能发现那是谎言,因为人类不擅长说谎,人类也不擅长胡诌,进化决定了人类有自己的方式确保交流的可信.
虽然这个世界上充满谎言,但是很容易识破它,因为它是人类制造的谎言.
大模型不一样,大模型说谎的时候,它自己也认为那是真的,所以你无法辨别真假.
和搜索引擎不一样,从搜索引擎上找到的错误结果可能是因为过时,或者对方知识不足,或者对方的思路有错误,但是这都是有迹可循的,换句话说,你能找到对方为什么错了,甚至还会觉得这很有趣.
但是大模型不一样,你发现大模型错了的时候,你无迹可寻,你不知道它错误的原因,因为它的思考完全是个黑盒,它也解释不了自己为什么出错了.
有时人会因此恼怒.
它不会犯人类那样的错误,人类的在思考的时候,有时候可以感觉到自己的注意力放在了哪里,哪些地方失去了注意力,当出现错误的时候,依据这些信息找到错误原因,还可以向其他人表达这种思考逻辑,比如:“我当时只想着,我忘记了xxx,没想到xxx”.
但是目前大模型还不具备这种能力.
大模型犯的错往往像无厘头喜剧一样无厘头,但是错误已经发生了,这种错误无人解决,因为它还无法去回顾总结.
“这种错误无人解决”,这就好比一个科学家研究了一个东西,差一点就成功了但是现在错了,科学家死了,资料都丢失了.
你还要沿着科学家的思路继续走,但是你不知道他的思路是什么样的.
中国有句古话:吃一堑长一智,大模型显然不会,因为它无法回顾错误.
我最近发现大模型在一些人类世界中就存在混淆的问题上,非常容易错误,它没有思考,也无法发现错误,只是概率性的重复现存的答案,当训练的数据充满错误答案的时候,它无法自我纠正.
另一篇文章也有类似思想:ai没有幻觉-它只是在胡说八道