三星研究人员推出参数高效的护栏自适应方法
在快速发展的人工智能领域,大型语言模型 (LLM) 在生成类似人类的文本方面表现出非凡的能力。然而,这种能力也伴随着巨大的风险,因为这些模型也可能产生有害或令人反感的内容。为了解决这个问题,三星研发学院的研究人员推出了一种名为LoRA-Guard的革命性方法。这种创新系统有望通过一种有效的护栏适应技术来提高 LLM 的安全性,该技术利用 LLM 和护栏模型之间的知识共享。
安全语言生成的挑战
LLM 通过无监督学习在大量数据集上进行训练,然后进行监督微调。不幸的是,训练数据集通常包含不良内容,导致这些模型无意中学习并产生不安全或不道德的响应。减轻这些风险的传统方法包括安全调整和实施护栏,每种方法都有各自的挑战:
-
安全调整:这种方法将模型与人类价值观和安全考虑相结合。然而,它很容易受到越狱攻击,这种攻击会通过各种策略绕过安全措施,例如使用低资源语言或干扰。
-
护栏:这些涉及单独的模型来监控和标记有害内容。虽然有效,但它们会带来大量计算开销,因此在资源匮乏的环境中不切实际。
进入 LoRA-Guard
LoRA-Guard 通过集成聊天和保护模型解决了当前方法中固有的效率问题。这种集成是使用聊天模型的转换器主干上的低秩适配器实现的,从而实现双重功能:
-
聊天模式:当 LoRA 参数被停用时,系统作为标准聊天模型运行。
-
防护模式:激活 LoRA 参数可使系统使用分类头检测有害内容。
与以前的方法相比,这种双模式操作大大减少了 100-1000 倍的参数开销,使得 LoRA-Guard 可在资源受限的环境中部署。
建筑创新 www.cqzlsb.com
LoRA-Guard 的架构旨在最大限度地提高效率和性能:
-
共享嵌入和标记器:聊天模型 (C) 和保护模型 (G) 都使用相同的嵌入和标记器。
-
特征图自适应:聊天模型使用原始特征图 (f),而守卫模型采用带有 LoRA 适配器的修改版本 (f')。
-
单独的输出头:防护模型包括一个不同的输出头 (hguard),用于对有害内容进行分类。
这种设置允许在聊天和守卫功能之间无缝切换,从而显著减少计算开销。守卫模型通常只增加原始模型参数的一小部分(通常是 1/1000)。
培训与绩效
LoRA-Guard 通过在标记数据集上对修改后的特征图 (f') 和守卫头 (hguard) 进行监督微调来训练,同时保持聊天模型的参数不变。这种方法确保守卫模型能够有效地检测有害内容,而不会影响聊天模型的性能。
该系统在各种数据集上都表现出色:
-
ToxicChat:LoRA-Guard 使用明显更少的参数,但在准确率-召回率曲线下面积 (AUPRC) 方面表现优于基线。
-
OpenAIModEval:它匹配参数少 100 倍的替代方法。
-
跨域评估:在 ToxicChat 上训练的模型可以很好地推广到 OpenAIModEval,但相反的表现则下降,这可能是由于数据集的特性或 ToxicChat 中存在越狱样本。
人工智能安全的飞跃
LoRA-Guard 代表了主持对话系统的重大进步,减少了参数开销并保持或提高了性能。其双路径设计可防止微调过程中出现灾难性遗忘,这是其他方法中常见的问题。通过大幅减少训练时间、推理时间和内存需求,LoRA-Guard 有望成为在资源受限的环境中实施强大内容审核的重要工具。
随着设备上的 LLM 变得越来越普遍,LoRA-Guard 为更广泛的应用程序和设备上更安全的 AI 交互铺平了道路,确保在不影响安全性的情况下享受高级语言模型的好处。