模型幻觉指的是模型在一本正经的胡说八道,它生成的内容可能与输入相冲突,或者与真实世界的某些事实相冲突(可能构造出不存在的事物)。之前的文章中也有提过,我们剖析了它产生的原因以及给出了一些解决思路。正常来说我们不希望存在这种模型幻觉,因为大部分情况下这种幻觉是会对业务场景带来很大程度的危害的。如果盲目相信大模型的输出,那么模型幻觉很有可能给人们带来无法挽回的损失。
但模型幻觉是否一定要消除掉呢?如果不是的话在什么场景下我们不需要去消除它呢?其实模型幻觉某些时候也能带来一些正向作用。这种正向作用主要体现在创作方面,很多时候能打破现有思想的约束,带来更新的创作灵感。最近在使用ai应用来进行一些内容创作,在这个过程中发现一些很有意思的生成内容本身就是不符合现实的。举例来说:你可能会见到几只大熊猫围在桌边喝酒撸串,也可能看到一只老虎躺在沙发上弹吉他。这在现实生活中基本是不可能发生的,因为这些行为是人类的行为,动物不会做这样的事。按照模型幻觉的定义,这种输出其实也算是模型幻觉的一种。但是这些不符合实际的模型生成内容确也能带给用户更多的想象力,从娱乐视角来看这无疑又是成功的。
所以模型幻觉未必需要消除,在合理的场景下进行使用能让我们获得更大的收益。