AI的“心理医生“来了：无需大模型训练就能提升对话质量

大语言模型(LLM)的出现无疑是人工智能领域近年来最重要的突破之一。从GPT到ChatGPT,再到最新的GPT-4,这些模型展现出了惊人的自然语言理解和生成能力,在各个领域都引发了广泛的应用。然而,即便是最先进的LLM,在与人类进行对话时也常常会出现理解偏差、答非所问等问题。如何让AI更好地理解人类意图,产生更符合人类期望的回答,一直是学界和业界关注的重点问题。

传统方法:训练模型以适应人类

目前,主流的解决方案是通过进一步训练模型来提升其对齐程度(alignment)。比如,OpenAI采用的人类反馈强化学习(RLHF)方法,就是通过人工标注大量对话样本的优劣,训练奖励模型和策略模型,从而让ChatGPT能够产生更符合人类偏好的回答。还有一些方法如直接偏好优化(DPO)等,也是类似的思路。

这些方法虽然取得了不错的效果,但也存在一些明显的缺陷:

1. 效率低下。随着模型规模的不断扩大,训练成本呈指数级增长。特别是强化学习算法本身就不太稳定,在大模型上进行微调更是难上加难。

2. 可访问性差。目前表现最好的一些模型如GPT-4、Claude-2等都是闭源的,只能通过API调用。这意味着普通用户根本无法对模型进行进一步训练来提升对齐程度。

3. 可解释性不足。通过这些方法对模型进行调整后,很难解释模型究竟学到了什么,为什么会产生更好的效果。

新思路:优化人类输入以适应AI

面对这些挑战,清华大学的研究人员提出了一个全新的思路 - 不去改变模型,而是优化人类的输入,