模型裁剪
文章平均质量分 82
模型裁剪优化相关文献资料
哇哇九号
生命不息,音乐不止。
展开
-
阅读笔记——HRank: Filter Pruning using High-Rank Feature Map
目录概述方法实验和指标可能的问题概述这篇通道裁剪论文同样提到,对于权重裁剪在特定硬件上可以获得加速,但是通用性不够。相对的,通道裁剪就没有这样的问题。因此文章聚焦于通道裁剪达到模型压缩(降低参数量)和加速(减少计算 FLOPs)的效果。同时文章将通道裁剪方法分为两类:一类是基于 CNN 网络内在性质做裁剪,这类裁剪方法不需要修改网络损失,在裁剪后,通过 finetune 恢复模型性能;另一类是自适应重要性排序方法,与前面方法不同的是,这类方法将裁剪方法集成到网络训练损失,然后联合优化一个自适应的原创 2021-12-20 01:34:43 · 602 阅读 · 0 评论 -
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
目录概述方法实验及指标实验细节实验指标概述CNN 模型在许多方面都取得了进展,但要将一些高精度 CNN 模型应用到实际场景中,还是面临一些问题:模型大小:模型参数和结构需要保存在硬盘上,对于一些嵌入式系统来说是一个不小的负担;运行时内存需求:推理时产生的中间变量需要地方存储;计算操作次数:一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟,这使得应用于实时应用不现实。这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出,可以对 BN 层的尺度因子使用 L1 正则化,将 B原创 2021-12-19 00:11:59 · 492 阅读 · 3 评论