关于模型压缩/优化系统学习的内容

本文主要介绍关于模型压缩/优化系统学习的内容,找论文学习有方向。并不提供详尽内容与代码。后面提供一些论文。下面所有内容,够你成为学习模型优化方面大神了,别求代码,自己写出来领悟更多。

1 压缩加速系统

1.1 卷积核张量的低秩分解

1.1.1 迭代法

1.1.2 SVD

1.2 网络剪枝

1.3 网络参数量化

1.3.1 线性量化

1.3.1.1 对称

1.3.1.2 不对称

1.3.1.3 极限二值化

1.3.2 非线性量化

1.3.2.1 对数

1.3.2.2 k-means

1.3.2.3 哈希网络

1.4 数学方法

1.4.1  im2col

这些都是,方法异曲同工。

1.4.2 layer融合

2 轻量化卷积神经网络的设计

2.1 以网络深度代替网络宽度

2.2 用小的卷积核

2.3 卷积层的输入、输出通道尽可能小

2.4 推延下采样层,全局下采样

2.5 全局平均池化层替代全连接层

2.6 可能精简同时保证网络精度

2.7 short-cut合理设计

3 老师-学生训练模型

这个应该算迁移的应用吧

4 知识蒸馏 ?

应该写在第一部分,但是这里东西太多了

论文

这些论文可以作为参考,这两个基本就够了,还缺一方面的。主要看摘要,然后相关的资源学习。

朱瑞. 基于卷积神经网络的图像识别算法的研究[D].

陈伟杰. 卷积神经网络的加速及压缩[D].

注:还有很多优秀的论文,可以在这两个人的参考文献中找到,可以拿来学习。

处理模型流程

1 层的融合 / 教师-学生系统+retrain:目的简化模型复杂度

2 模型优化 :目的加速conv和fc运算

       2.1 剪枝+retrain

       2.2 知识蒸馏+retrain 

       2.3 张量分解+retrain

3 模型量化:目的减小体积

建议:如果第一次接触,建议keras学习,h5模型能用软件打开,可以一步步实现上面内容,在做组合。

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页