大模型压缩：基于贝叶斯优化的自适应低秩分解

1.方法

1.1 基于特征的高维空间低秩分解

PCA已经是老朋友了，每次一说主成分都会出现PCA。这篇文章¹利用预训练数据的子集作为校准数据集 D c a l = { x i } i = 1 n \mathcal{D}_{cal}=\{x_{i}\}_{i=1}^{n} Dcal​={ xi​}i=1n​，首先用校准数据集的样本协方差矩阵（SCM）估计整个特征空间分布的Y的协方差矩阵
$$Co{v}_S(\mathbf{Y})=\frac{1}{n-1}\sum _{i=1}^n({\mathbf{y}}_i-\bar{\mathbf{y}}{)}^T({\mathbf{y}}_i-\bar{\mathbf{y}})\text{\hspace{1em}(1)}$$
式中${\mathbf{y}}_i$表示${\mathbf{x}}_i$的特征，$\bar{\mathbf{y}}$是校准数据集的特征值平均值。但文章指出，计算高维的协方差矩阵并不简单，他们提出了合并协方差矩阵（PCM），把校准数据集分成$m$组，对每一组分别计算协方差矩阵最后求平均得PCM
$$Co{v}_P(\mathbf{Y})=\frac{1}{m}$$