大模型融合方法-DARE

LLM在SFT之后会产生大量的冗余参数(delta参数)，阿里团队提出DARE方法来消除delta参数，并将其合并到PRE模型中，从而实现多源模型能力的吸收。

DARE无需GPU重新训练，其思路非常简单，就跟dropout类似：
$$\begin{array}{c}{\mathbf{m}}^t\sim \mathrm{Bernoulli}(p)\\ {\tilde{\mathbf{\delta }}}^t=\left(1-{\mathbf{m}}^t\right)\odot {\mathbf{\delta }}^t\\ {\hat{\mathbf{\delta }}}^t={\tilde{\mathbf{\delta }}}^t/(1-p)\\ {\mathbf{\theta }}_{\mathrm{DARE}}^t={\hat{\mathbf{\delta }}}^t+{\mathbf{\theta }}_{\mathrm{PRE}}\end{array}$$
两个步骤：

1. drop：随机mask参数为0
2. rescale：对保存的参数rescale，这样可以保证神经元期望值不变：$E_{no{t}_{mask}}=x,E_{mask}=\frac{p\ast x}{p}$

传统的模型融合只是对神经元进行加权求和，这样会导致模型能力骤降。DARE方法通过dropout避免了这种问题。

多源模型融合

$$\begin{array}{c}{\mathbf{\theta }}_{\mathrm{DARE}}^{t_k}=\mathrm{DARE}\left({\mathbf{\theta }}_{\mathrm{SFT}}^{t_k},{\mathbf{\theta }}_{\mathrm{PRE}}\right),\text{ for }1\le k\le K,\\ {\mathbf{\theta }}_{\mathrm{M}}={\mathbf{\theta }}_{\mathrm{PRE}}+\lambda \cdot \sum _{k=1}^K{\hat{\mathbf{\delta }}}^{t_k}={\mathbf{\theta }}_{\mathrm{PRE}}+\lambda \cdot \sum _{k=1}^K\left({\mathbf{\theta }}_{\mathrm{DARE}}^{t_k}-{\mathbf{\theta }}_{\mathrm{PRE}}\right).\end{array}$$
流程图：

实验结果

---

参考

• 丢弃99%的参数！阿里团队提出语言模型合体术，性能暴涨且无需重新训练和GPU
• MergeLM