卷积神经网络压缩参数加速(二)---低秩估计

huang_nansen

于 2019-01-06 22:59:21 发布

阅读量4.2k

点赞数 1

分类专栏：深度学习计算机视觉

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/huang_nansen/article/details/85956133

版权

深度学习同时被 2 个专栏收录

23 篇文章 3 订阅

订阅专栏

计算机视觉

20 篇文章 1 订阅

订阅专栏

上篇讲述了卷积神经网络网络压缩的理论基础，包含filter层面、channel层面、group层面和稀疏矩阵。

本篇博客将总结一下低秩估计的方法，低秩估计主要分为矩阵分解和张量分解。

一、矩阵分解

如上图中两个矩阵相乘，每个向量相乘所需要的计算次数为b个乘法，b-1个加法，共a*c*(2b-1),通常情况下加法的速度比乘法的速度快很多，并且后面求比例时可以约掉，为了方便计算，计算为a*b*c。

SVD分解后，参数压缩比为 $\frac{a*b}{c(a+b+c)}$

卷积核矩阵可以通过SVD分解为如下：

上图中的a在为 $K_{H}K_{W}C_{in}$ , b为 $C_{out}$

将三个矩阵压缩为上图三个矩阵，中间的矩阵仅保留前r个奇异值，第一个矩阵行数不变，列变为r，第二个矩阵变为r*r，第三个矩阵变为r* $C_{out}$

记 $P=U\cdot \Lambda ^{1/2}$

$Q^{T} = \Lambda ^{1/2}V^{T}$

原始矩阵乘法记为 $C=A\cdot B$

B为参数矩阵，A为输入特征矩阵，C为输出矩阵。

则 $B=U\Lambda V^{T} = PQ^{T}$

$C=A(PQ^{T}) = (AP)Q^{T}$ 得到输出矩阵

通过矩阵之间的乘法我们可以计算出，P为 $K_{H}K_{W}C_{in}*r$ 的矩阵， $Q^{^{T}}$ 为 $C_{out}*r$ 的矩阵

矩阵乘法通常使用卷积操作来实现

于是我们可以通过两个卷积操作来完成两次矩阵乘法，分别为 (AP) : $K_{H}K_{W}C_{in}$ ，输出通道为r，步长为原来卷积步长的卷积，和 $(AP)Q^{T}$ 一个 1*1*r ，输出通道为 $C_{out}$ 步长为1的卷积。

二、张量分解

下面来介绍一下Tucker分解

Tucker分解将原本的一个卷积操作分解为3个卷积操作，分别为一个1*1卷积，1个原始 $K_{H}K_{W}$ 卷积，1个1*1卷积，输入通道数分别为 $C_{in}$ ，R3，R4，其中R3和R4是相同量级的数。

未完

关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
1
评论
卷积神经网络压缩参数加速(二)---低秩估计

上篇讲述了卷积神经网络网络压缩的理论基础，包含filter层面、channel层面、group层面和稀疏矩阵。本篇博客将总结一下低秩估计的方法，低秩估计主要分为矩阵分解和张量分解。一、矩阵分解如上图中两个矩阵相乘，每个向量相乘所需要的计算次数为b个乘法，b-1个加法，共a*c*(2b-1),通常情况下加法的速度比乘法的速度快很多，并且后面求比例时可以约掉，为了方便计算，计算为...
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。