【大模型认识】警惕AI幻觉，利用插件+微调来增强GPT模型

一. 大模型的局限

1. 大模型不会计算

LLM根据给定的输入提示词逐个预测下一个词（也就是标记），从而生成回答。在大多数情况下，模型的输出是与提问相关的，并且完全可用，但是在使用语言模型时需要小心，因为它们给出的回答可能不准确。这种回答通常被称为AI幻觉。对于依赖GPT的用户来说，AI幻觉可能带来危险。你需要仔细核对并批判性地审视模型的回答。

考虑以下例子。

首先，我们让模型计算一个简单的式子：2 + 2。不出所料，它给出的答案是4。非常好！然后，我们让它计算一个复杂的式子：3695 × 123548。尽管正确答案是456509860，但模型非常自信地给出了一个错误的答案，如图。当我们要求它进行检查并重新计算时，它仍然给出了一个错误的答案。
 

 
只会补全文本

尽管我们可以使用插件系统向GPT添加新功能，但GPT默认不包含计算器。为了回答我们的问题，即2 + 2等于多少，GPT逐个生成每个标记。它之所以能正确回答，是因为它可能经常在训练文本中遇到2 + 2等于4。这并不能说明它会计算，只能说明它会补全文本而已。

 
犯错的原因

GPT很可能没有在其训练文本中见过太多次3695 × 123548。这就是它犯错的原因。因此，在应用程序中使用GPT时要特别小心。如果GPT犯错，那么你的应用程序可能会得到不一致的结果。

 

有趣的附带效果

请注意，在刚才的例子中，ChatGPT给出的结果接近正确答案，而不是完全随机的。这是算法的一个有趣的附带效果：尽管没有数学能力，但ChatGPT仅通过语言方法就能给出近似的估计结果。

 

2. 甚至明目张胆的欺骗

在前面的例子中，ChatGPT犯了一个错误。但在某些情况下，它甚至会故意欺骗。ChatGPT声称自己无法访问互联网。然而，如果我们坚持，就会发生有趣的事情，如图所示。

ChatGPT的意思是，它已经访问了链接。然而，这在目前绝对不可能。ChatGPT明显让用户误以为它具备其实并不具备的能力。

 

二. 使用插件和微调来增强GPT模型

1. 模型的局限性

GPT模型有一定的局限性，例如其计算能力有限。此外，它没有直接访问互联网的权限，这意味着GPT模型无法获取新信息，其知识仅限于训练数据。对于GPT-4，最后一次知识更新是在2021年9月。

它们可能会提供错误信息，甚至误导用户。总之，我们强烈推荐在创意型（或）应用程序中使用纯GPT解决方案，而不是在医疗咨询工具等真相至关重要的问答类应用程序中使用。对于这类用例，插件可能是理想的解决方案。

OpenAI已经为GPT-4引入了插件功能。这些工具让我们能够向LLM添加额外的功能。计算器就是众多工具之一，它可以帮助GPT正确回答数学问题。

 

2. 插件来增强大模型的能力

OpenAI提供的插件服务允许该模型与第三方开发的应用程序连接。这些插件使模型能够与开发人员定义的API进行交互。

插件为开发人员带来许多新的机会。想象一下，将来每家公司都可能希望拥有自己的LLM插件。就像我们今天在智能手机应用商店中看到的那样，可能会有一系列的插件集合。通过插件可以添加的应用程序数量可能是巨大的。

在其网站上，OpenAI表示可以通过插件让ChatGPT执行以下操作：

• 检索实时信息，如体育赛事比分、股票价格、最新资讯等；
• 检索基于知识的信息，如公司文档、个人笔记等；
• 代表用户执行操作，如预订航班、订购食品等；
• 准确地执行数学运算。
• 。。。

 

3. 微调技术-提高特定任务的准确性

微调可以提高现有模型在特定任务上的准确性。

微调过程涉及使用特定的一组新数据重新训练现有的GPT模型。新模型专为特定任务而设计，这个额外的训练过程让模型能够调节其内部参数(how)，以适应给定的任务。

经过微调的模型应该在该任务上表现得更好。比如，采用金融文本数据进行微调的模型应该能够更好地回应针对该领域的查询并生成相关性更强的内容。