模型压缩
文章平均质量分 95
CV/NLP大虾
https://github.com/hanhui269/
展开
-
Dynamic Slimmable Network-(CVPR21-ORAL)综合分析
文章提出了一种动态剪枝策略,通过动态宽度可变超网络(Dynamic Slimmable Supernet),解决了传统剪枝方法硬件实际加速效果很低的问题。并提出了动态宽度门控(Dynamic Slimming Gate)对网络进行瘦身。 下面就文章原理和代码来综合分析: 动态宽度可变超网络 动态宽度可变网络(DS-Net)通过学习一个宽度可变超网络和一个动态门控机制来实现不同样本的动态路由。如上图所示,DS-Net中的超网络(上图黄色框)是指承担主要任务的整个模块。相比之下,动态门控(上图蓝色框)是一系列原创 2021-05-28 10:55:12 · 1256 阅读 · 0 评论 -
高通AIMET-spatial_svd_auto_mode
be2accce7560:/usr/local/bin/python -u /opt/project/torch_model.py 2020-12-30 01:32:28,703 - root - INFO - AIMET WARNING:param.Dimension: Use method 'get_param_values' via param namespace WARNING:param.Dimension: Use method 'get_param_values' via param nam原创 2020-12-30 15:15:44 · 440 阅读 · 2 评论 -
Deep compression
韩松Deep compression 最近用到fc层压缩,采用pytorch实现。 参考文献如下: https://blog.csdn.net/weixin_36474809/article/details/80643784#%E6%84%8F%E4%B9%89原创 2020-06-11 14:57:56 · 233 阅读 · 0 评论 -
Neural Architecture Search(NAS)
Reference 神经网络架构搜索(Neural Architecture Search): https://blog.csdn.net/jinzhuojun/article/details/84698471原创 2020-04-23 14:52:29 · 237 阅读 · 0 评论 -
模型压缩
模型压缩(compression) 理论基础 必要性: 在许多网络结构中,如VGG-16网络,参数数量1亿3千多万,占用500MB空间,需要进行309亿次浮点运算才能完成一次图像识别任务。 可行性: 论文提出,其实在很多深度的神经网络中存在着显著的冗余。仅仅使用很少一部分(5%)权值就足以预测剩余的权值。该论文还提出这些剩下的权值甚至可以直接不用被学习。也就是说,仅仅训练一小部分原来的权值参数...转载 2019-04-22 18:30:58 · 636 阅读 · 1 评论