上篇讲述了卷积神经网络网络压缩的理论基础,包含filter层面、channel层面、group层面和稀疏矩阵。
本篇博客将总结一下低秩估计的方法,低秩估计主要分为矩阵分解和张量分解。
一、矩阵分解
如上图中两个矩阵相乘,每个向量相乘所需要的计算次数为b个乘法,b-1个加法,共a*c*(2b-1),通常情况下加法的速度比乘法的速度快很多,并且后面求比例时可以约掉,为了方便计算,计算为a*b*c。
SVD分解后,参数压缩比为
卷积核矩阵可以通过SVD分解为如下:
上图中的a在为, b为
将三个矩阵压缩为上图三个矩阵,中间的矩阵仅保留前r个奇异值,第一个矩阵行数不变,列变为r,第二个矩阵变为r*r,第三个矩阵变为r*
记
原始矩阵乘法记为
B为参数矩阵,A为输入特征矩阵,C为输出矩阵。
则
得到输出矩阵
通过矩阵之间的乘法我们可以计算出,P为的矩阵,
为
的矩阵
矩阵乘法通常使用卷积操作来实现
于是我们可以通过两个卷积操作来完成两次矩阵乘法,分别为:
,输出通道为r,步长为原来卷积步长的卷积,和
一个
,输出通道为
步长为1的卷积。
二、张量分解
下面来介绍一下Tucker分解
Tucker分解将原本的一个卷积操作分解为3个卷积操作,分别为一个1*1卷积,1个原始卷积,1个1*1卷积,输入通道数分别为
,R3,R4,其中R3和R4是相同量级的数。
未完