继续预训练 LLM ——数据筛选的思路

继续预训练 LLM 会导致遗忘原有的知识，为了避免这种灾难性遗忘，有一些简单的小技巧：

1. 在训练语料中加入通用知识相关的语料。
2. 模型筛选或早停，选择新旧知识的平衡点。
3. 调整一些超参数，比如学习率。

这篇笔记记录了来自论文 Efficient Continual Pre-training for Building Domain Specific Large Language Models 的另一个小技巧——数据筛选。作者仅通过 10% 的数据，训练了个金融领域的 LLM，其相较于不筛选时，F1 提高了 3 个点。

总体思路

筛选数据时，有两种情况；

1. 当有具体任务相关的数据，相当于有测试集，这时，可用 text embedding 模型向量化后，通过相似度筛选数据。该方法称为 Efficient Task-Similar Domain-adaptive Continual Pre-training（ETS-DACP）。
2. 当没有任务相关的数据时，这时，可通过 困惑度（PPL, ETA-DACP-ppl）和 词性熵（part of speech entropy, ETA-DACP-ent）来选择数据。该方法称为 Efficient Task-Agnostic Domain-adaptive Continual Pre-training（ETA-DACP）。

通过这三个关键指标（余弦相似度、PPL、POS-Entropy）对数据打分后，接下来用什么样的策略喂给 LLM 呢？作者提供了两种策略：

• 硬采样（hard sample）：用指标排序后，选择前 p% 的数据，论文中 p=10。
• 软采样（soft sample）ÿ