ITERALIGN: Iterative Constitutional Alignment of Large Language Models

本文是LLM系列文章，针对《ITERALIGN: Iterative Constitutional Alignment of Large Language Models》的翻译。

摘要

随着大型语言模型（LLM）的快速发展，使LLM与人类价值观和社会规范保持一致以确保其可靠性和安全性变得至关重要。已经提出了利用人反馈的强化学习（RLHF）和宪法人工智能（CAI）来进行LLM对齐。然而，这些方法要么需要大量的人工注释，要么需要明确预定义的构造，这是劳动密集型和资源消耗型的。为了克服这些缺点，我们研究了基于宪法的LLM对齐，并提出了一个数据驱动的宪法发现和自比对框架ITERALIGN。ITERALIGN利用红色团队来揭示LLM的弱点，并使用更强的LLM自动发现新的体质。然后使用这些构造来引导基本LLM的自校正。这样的构造发现流水线可以迭代地并且自动地运行，以发现专门针对当前LLM中的对准间隙的新构造。在几个安全基准数据集和多个基本LLM上的经验结果表明，ITERALIGN成功地提高了真实性、帮助性、无害性和诚实性，使LLM的一致性在无害性方面提高了13.5%。

1 引言

2 相关工作

3 前言

4 提出的框架

5 实验

6 结论

在本文中，我们提出了一种新的数据驱动的结构发现和自对齐框架，用于对齐大型语言模型。该框架利用预言机模型和红团队数据集来生成相关的构造，这些构造引导模型以迭代的方式自我对齐。我们的方法足够通用，可以应用于任何新的领域