Self-Alignment with Instruction Backtranslation

Introduction

目前Alignment LLM 的数据主要的来源为用户手写与 powerful LLM 生成，但如果要生成高质量的一批数据，是十分昂贵的。这篇文章作者提出了Self-alignment方法，从 unlabeled数据中生成instruction，然后逐步迭代。

Method

这个方法有两个假设：

1. 大量的人类手写的无监督文本中可能还有对于用户来说的gold generation。
2. 通过这些候选的 gold generation 可以通过 powerful LLM生成 对应的QA对，组成高质量的数据。

Initialization

Seed Data：收集一些human-annotated 数据，然后用模型finetune。
unlabeled data； 使用web corpus 作为unlabeled data。 对其去重、长度过滤，移除潜在的低质量数据，然后若干个document块作为response。

Self-Augmentation(generating instructions)

首先根据seed data，finetune baseline model:=M1,然后根据候选的unlabeld data生成instructionÿ