![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
剪枝
文章平均质量分 75
ywsdxxzj
这个作者很懒,什么都没留下…
展开
-
论文笔记-粗读-8.22~8.29
论文笔记-粗读-8.22~01-Learning Structured Sparsity in Deep Neural Networks文章:代码:https://github.com/wenwei202/caffe/tree/scnn文章采用结构化稀疏的方法对不同的结构进行修剪。最终将20层的ResNet修剪至18层,同时精度由92.25%提升至92.60%。filters和channels之间存在冗余[11];filters为什么一定是正方形呢?深度网络有时因为梯度爆炸和梯度消失的问题原创 2021-08-29 13:51:27 · 470 阅读 · 0 评论 -
论文笔记-精读-8.24-Pruning neural networks without any data by iteratively conserving synaptic flow
原文:代码:总结解决的问题:现有的gradient-based的剪枝方法在初始化时会遭遇layer-collapse的问题——即导致过早的剪去一整个layer使得网络模型无法训练的现象;彩票假设提出后,对模型到底是否需要pre-trained提出了质疑,很自然有这样一个问题:能不能不训练,甚至不借助于任何数据输入,而直接地detect the wining lottery ticket? 对此目前没有有效的算法;方法的新颖之处:不依赖于训练数据就能够识别wining ticket;原创 2021-08-24 12:39:46 · 1003 阅读 · 0 评论 -
论文笔记-精读-8.22-Manifold Regularized Dynamic Network Pruning
论文笔记-精读-8.2-Manifold Regularized Dynamic Network Pruning总结关于本篇文所解决问题的总结写在前面,方便一些朋友阅读,也方便自己从具体的方法中跳脱出来,高屋建瓴、理清思路。要解决的问题&解决的情况问题主要是:static prune达不到高的剪枝率,文章这是因为他们没有充分发掘输入中的信息;方法的优缺点直觉上,这个基于交叉熵的复杂度评估必须要等到接近收敛才能有比较好的近似,否则一开始,所有实例都拟合得不好,得到的复杂度信息肯原创 2021-08-22 08:23:37 · 1543 阅读 · 0 评论 -
剪枝论文笔记-基于最小化重构误差的方法(1)-ThiNet
论文题目:ThiNet: A Filter Level Pruning Method for Deep Nerual Network Compression原文链接:https://arxiv.org/pdf/1707.06342.pdf作者:Jian-Hao luo, Jianxin Wu, Weiyao Lian–yangtao2019, 2021.5.21原创 2021-05-21 15:32:33 · 855 阅读 · 0 评论