卷积神经网络的压缩

参考:《解析深度学习——卷积神经网络原理与视觉实践》网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf一、模型压缩原因巨大的存储代价以及计算开销,严重制约了深度网络在移动端等小型设备上的应用;模型内部参数存在着巨大的冗余。二、据压缩过程对模型结构破坏程度进行模型压缩技术分类前端压缩:指不改变原网络结构的压缩技术,主要包括知识...
摘要由CSDN通过智能技术生成

参考:《解析深度学习——卷积神经网络原理与视觉实践》

网址:http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

一、模型压缩原因

巨大的存储代价以及计算开销,严重制约了深度网络在移动端等小型设备上的应用;

模型内部参数存在着巨大的冗余。

二、据压缩过程对模型结构破坏程度进行模型压缩技术分类

前端压缩:指不改变原网络结构的压缩技术,主要包括知识蒸馏、紧凑的模型结构设计以及滤波器层面的剪枝等。

后端压缩:包括低秩近似、未加限制的剪枝、参数量化以及二值网络等,目标在于尽可能减小模型大小,因而对原始网络结构极大程度的改造。

两种压缩技术可以相互结合,将“前端压缩”的输出作为“后端压缩”的输入,能够在最大程度上减少模型的复杂度。

三、不同操作方法

(1)低秩表示

基本思想:用若干个小规模矩阵近似重构权重矩阵。

  • 使用结构化矩阵来进行低秩分解的算法
  • 直接使用矩阵分解来降低权重矩阵的参数

存在问题:
低秩近似算法在中小型网络模型上取得了很不错的效果,但其超参数量与网络层数呈线性变化趋势,随着网络层数的增加与模型复杂度的提升,其搜索空间会急剧增大。当面对大型神经网络模型时,是否仍能通过近似算法来重构参数矩阵,并使得性能下降保持在一个可接

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值