Platypus：Quick，Cheap，and Powerful Refinement of LLMs

Introduction

现在大模型已经取得很不错的结果，如何把大模型的能力蒸馏到小模型，并且让小模型维持相同水平层次的能力，现在还是一个难题。
但是现在的instruction tuning的方法当模型足够大的时候，时间与金钱成本很大，目前已经有了Qlora来缓解这个问题，但是作者提供了另一种解决思路。

Method

2.1 Curating Open- Platypus

open-platypus数据集由11个开源数据集组成，如下图：
主要是human-design类型的问题，只有10%的数据集是LLM生成的。
其中上图标记星号的数据集没有被合并，作者考虑到可能在合并模型是受到污染。
并且在不同的数据集中过滤数据的时候主要关注基础能力，比如STEM、Logic、Math等。

Removing similar&duplicate questions

主要有两个方案：

1. 去除完全相同的数据与相似度大于0.8的instruction。（cosine）
2. 尽量保留长的qa