CVPR论文PENNI: Pruned Kernel Sharing for Efficient CNN Inference分析

原文地址：https://arxiv.org/abs/2005.07133
作者提出了PENNI（Pruned kernel sharing for Efficient
CNN Inference），一种CNN模型压缩框架，用于压缩模型参数的冗余度。

步骤如下：
A.滤波器(filters)SVD分解并retrain
B.权值剪枝
CD.去除冗余通道

1. 滤波器分解。设原始的layer l的参数为$${\theta }^{(l)}\in {\mathbb{R}}^{c_l\times c_{l+1}\times k_w^l\times k_h^l}$$其中$c_l$为layer l输入通道数量，$c_{l+1}$为layer l的输出通道数量。$k_w^l$和$k_h^l$分别为kernel的宽和高。然后将四维的权重tensor$\theta$ reshape为二维矩阵，$${\theta }^{\prime }\in {\mathbb{R}}^{c_l{c}_{l+1}\times k_l^2}$$，这里将kernel简化为宽高相等。设子空间$U\subset {\mathbb{R}}^{k_l^2}$和基(basis)B={$u_1$,$u_2$,…,$u_d$},d<$k_l^2$，分解过程的目标是找到子空间以最小化投影向量与原始向量之间误差：
   
   其中${\alpha }_{\omega }$为投影参数
   2.retrian。文中设计了损失函数以进行retrain
   
   梯度可表示为：
   
   C为参数矩阵。该式右边第一项为减小误差，第二项使重构的kernel接近原来的核。文中提到，如果联合训练基和系数，则系数会在原来的基(basis)上进行更新。这会导致模型难以收敛。为此，文献采取了交替训练的方式：冻结系数，训练基；然后冻结基训练系数。
   3.剪枝。第二步中的处理，会使得参数接近零。文中提出按照一定的阈值（标准差计算得到）去除冗余权值。而且，只需要几个周期的系数微调就可以恢复剪枝造成的精度损失。不需要任何额外的迭代，就可以实现高稀疏级和低精度损失的组合。设此时的系数矩阵尺寸为$c_l\times c_{l+1}\times k^{\prime }$。选中第一维度（$c_l$），将剩余两维度的值相加求和，可以得到向量$p_i^{(l)}$，长度为$c_l$，其中为零的向量表示输入通道没有连接到输出通道，即冗余的，这些通道记作$P_i^{(l)}$，同理，可以得到冗余的输出通道$P_o^{(l)}$。然后去除这些冗余通道。文中提到，如此一来，可能有的冗余输入通道不一定是输出冗余的，对此，使用了简单的处理方法，只保留输入输出都不冗余的通道即可（即只要有一方是冗余的，就去除）