大模型压缩：使用Fisher信息从低秩表示模型

费雪信息

之前写过的文章20240616日志：大模型压缩方法DMS里具体介绍了费雪信息，在一组观测数据中，Fisher信息量越大，对未知参数的估计就越准确。
$$I_w^{\text{def}}=\mathbb{E}\left[{\left(\frac{\partial }{\partial w}\log p(\mathcal{D}|w)\right)}^2\right]\text{\hspace{1em}(1)}$$
但是，Fisher信息量计算代价太大。

FWSVD: Fisher-Weighted SVD

寻求一个基于经验的费雪信息量$I_w^{\mathrm{emp}}$，用公式2表示
$$I_w^{\mathrm{def}}\approx I_w^{\mathrm{emp}}=\frac{1}{|\mathcal{D}|}\sum _{i=1}^{|\mathcal{D}|}{\left(\frac{\partial }{\partial w}\mathcal{L}\left(d_i;w\right)\right)}^2\text{\hspace{1em}(2)}$$
令$\hat{w}=\mathrm{SVD}(w)$，由此目标函数定义为
$$\underset{\text{rank }\hat{w}=r}{\min }\Vert \sqrt{I_w^{\text{emp}}}\ast (w-\hat{w}){\Vert }^2\text{\hspace{1em}(3)}$$
对$I_w^{\mathrm{emp}}$使用行加权
$${\hat{I}}_w^{\mathrm{emp}}=\mathrm{diag}\left(I_w^{\mathrm{emp}}\cdot 1\right)\text{\hspace{1em}(4)}$$
由此可得加权的SVD
$$\mathrm{FWSVD}(w)\approx \hat{U}\hat{\Sigma }\hat{V}=({\hat{I}}_w^{\mathrm{emp}}{)}^{-1}U\Sigma V\text{\hspace{1em}(5)}$$

增强LoRA FWSVD压缩

为了不计算每一个权重的信息量，这里引入
$${\hat{I}}_w^{\mathrm{emp}}\approx {\hat{I}}_{\Delta w}^{\mathrm{emp}}={\hat{I}}_B^{\mathrm{emp}}{\hat{I}}_A^{\mathrm{emp}}\text{\hspace{1em}(6)}$$
这里的"≈"的意思是使用后面的${\hat{I}}_{\Delta w}^{\mathrm{emp}}$去近似前面的${\hat{I}}_w^{\mathrm{emp}}$，$\Delta w$的意思并不是变化率。使用LoRA的思想进行微调，然后把$w+\Delta w$代替原来的$w$，然后使用${\hat{I}}_{\Delta w}$压缩
$$\begin{array}{rl}\mathrm{FWSVD}(w)& \approx \mathrm{FWSVD}(\Delta w)\\ & =\mathrm{SVD}({\hat{I}}_{\Delta w}^{\mathrm{emp}}(w+\Delta w))\\ & =\mathrm{SVD}({\hat{I}}_{\Delta w}^{\mathrm{emp}}w)\end{array}\text{\hspace{1em}(7)}$$
reference
[1]:ACL 2024 Parameter and Memory Efficient Language Model Compression using Fisher Informationfrom Low-Rank Representations