LLM自对齐技术最新研究分享（二）：对齐 Pipeline 数据合成（下）

LLM 自对齐技术最新研究进展分享 系列文章继续更新啦！本系列文章将基于下图的架构，对当前 Self-alignment 相关工作进行全面梳理，厘清技术路线并分析潜在问题。

添加图片注释，不超过 140 字（可选）

在上一篇文章中，我们主要探讨了 “如何让 LLM 合成 Instructions”，解决了 Instructions 从哪里来的问题，接下来要解决的问题就是如何让 LLM 采集 Response，那么此时我们需要面临抉择，到底是要进行 SFT 还是 RLAIF 方式进行对齐，不同的选择需要用到不同的方式。

SFT

SFT 路线的目标是让 LLM 合成符合 3H 原则的回答：Helpful、Honest、Harmless。 目前工作采用如下几种常见方法采集高质量回答，包括 Distillation、Critic&Refine、In-context、Guided Decoding、Self-Consistency、Task Decomposition 这些方法。

Distillation

Distillation 的思路在于得到其他 Strong model 的回答，之后可以直接在该回答上进行微调，比如 Baize 和 UltraChat 都是收集其他 LLM 的对话数据，再进行蒸馏。 虽然蒸馏省事简单，但是可能会遇到如下几个问题：

1. 受 Strong model 的能力瓶颈限制。

2. 受 Strong model 的 Bias 影响，可以借鉴 Co-Supervised Learning 的思想不限制 Response 的来源，从多个 Strong model 进行蒸馏缓解该问题。

3. Strong model 的回答可能跟当前模型并不适配，需要进一步筛选。Selective Reflection-Tuning 不再将 Teacher model 的 Response 直接拿来蒸馏，而是对这些 Response 筛选出合适的，他们利用 Student model 的困惑度计算了一个 r-IFD 分数，该分数筛选得到的 Response 对于 Student model 来说与 Instructions 更加适配，这些 Response 更适合 Student model 进行学习。

Critic&Refine

该方法主要利用 LLM 的 Critic 和 Refine 能力。LLM 可以根据评论建议对自己的 Response 进行修改完善，利用该能力可以提高 Response 的质量。

SELF-REFINE 是较早挖掘 LLM Refine 能力的工作，对于生成的 Response，SELF-REFINE 让 LLM 自己对其进行评论，之后根据评论再对 Response 进行 Refine。

这里 Critic 可以由其他 Strong model 生成，之后 LLM 根据该 Cr