模型压缩与加速
一步一个脚印
梦坠凡尘(AICV与前沿)
这个作者很懒,什么都没留下…
展开
-
模型剪枝学习笔记 --- EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning
论文:https://arxiv.org/abs/2007.02491代码:https://github.com/anonymous47823493/EagleEye这篇论文一定要好好研究下,提出该剪枝方法的是暗物智能科技&中山大学,当初去面试过该公司,聊了将近一小时,大部分是关于剪枝的内容。。。。。。。可惜自己真实菜如狗。。。。。...原创 2020-07-12 15:09:18 · 4659 阅读 · 8 评论 -
MobileNetV3学习笔记 --- Searching for MobileNetV3
论文:https://arxiv.org/pdf/1905.02244.pdfPytorch_MobilenetV3 实现:https://github.com/xiaolai-sqlai/mobilenetv3Mobilenet系列网络属于轻量级网络,小巧,快,准。十分适合于移动端部署,现已被广泛运用于分类、检测识别等领域,作为特征提取backbone。比如Mobilenet-SSD,Mob...原创 2020-04-14 15:23:09 · 2114 阅读 · 0 评论 -
MobilenetV2学习笔记 --- MobileNetV2: Inverted Residuals and Linear Bottlenecks
论文:https://arxiv.org/abs/1801.04381代码:https://github.com/tonylins/pytorch-mobilenet-v2此外给出MobilenetV1论文链接:https://arxiv.org/abs/1704.04861没有看过MobilenetV1的建议先去看看。MobilenetV1利用深度可分离卷积代替标准卷积,大大减少了模型...原创 2020-04-12 13:34:10 · 904 阅读 · 1 评论 -
Addernet学习笔记 --- AdderNet: Do We Really Need Multiplications in Deep Learning?
AdderNet: Do We Really Need Multiplications in Deep Learning?CVPR2020新论文,作者团队:北京大学&华为诺亚方舟实验室等论文链接:https://arxiv.org/abs/1912.13200v3github链接:https://github.com/huawei-noah/AdderNet本论文提出用加法替代乘法...原创 2020-03-01 21:43:39 · 2953 阅读 · 0 评论 -
GhostNet学习笔记 --- GhostNet: More Features from Cheap Operations
GhostNet: More Features from Cheap Operations论文地址:https://arxiv.org/abs/1911.11907Github开源地址:https://github.com/huawei-noah/ghostnet原创 2020-03-03 19:22:26 · 3328 阅读 · 0 评论 -
模型剪枝学习笔记 --- Channel Pruning via Optimal Thresholding
Channel Pruning via Optimal Thresholdinggithub开源链接:https://github.com/yeyun11/netslim论文下载链接:https://arxiv.org/abs/2003.04566前几天刚开源的一个基于通道剪枝的方法。太厉害了。...原创 2020-04-02 17:09:00 · 2791 阅读 · 0 评论 -
模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search
Channel Pruning via Automatic Structure Search代码:https://github.com/lmbxmu/ABCPruner论文下载链接:https://arxiv.org/abs/2001.08565该论文是 厦大&鹏程实验室&北大&腾讯优图新提出的一种基于生物启发式搜索算法-人工蜂群(artifical bee colo...原创 2020-03-04 14:53:39 · 2576 阅读 · 0 评论 -
Tensorrt学习笔记--Tensorrt的基本知识
Tensorrt支持三个ParserCaffe ParserThis parser can be used to parse a Caffe network created in BVLC Caffe or NVCaffe 0.16. It also provides the ability to register a plugin factory for custom layers.UFF...原创 2020-02-20 22:30:14 · 4197 阅读 · 0 评论 -
模型剪枝学习笔记--Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates
Layer-wise Pruning and Auto-tuning of Layer-wise Learning Rates in Fine-tuning of Deep Networks这篇论文是上个月刚出的关于剪枝方面的论文。作者:首尔大学团队论文下载地址:https://arxiv.org/abs/2002.06048Layer-wise剪枝+AutoLR:深度网络微调中的层级剪枝和...原创 2020-02-20 21:36:55 · 1335 阅读 · 0 评论 -
模型剪枝学习笔记--Pruning Filters for Efficient Convnets
Pruning Filters for Efficient Convnets是 ICLR 2017的一篇文章,属于filter pruning,论文链接。本质思想:用weight值的大小来评判filter的重要性,对于一个filter,对所有weight的绝对值求和(求L1范数),作为该filter的评价指标,排序结果并将一层中值低的filter裁掉。1.PRUNING FILTERS AN...原创 2020-01-19 14:24:55 · 3941 阅读 · 4 评论 -
知识蒸馏学习笔记--Structured Knowledge Distillation for Semantic Segmentation
Structured Knowledge Distillation for Semantic Segmentation论文地址:https://arxiv.org/pdf/1903.04197.pdf我发现的第一篇语义分割使用知识蒸馏方法的论文,太强了~~本文内容是参考网上论文解读和原论文而成,如有侵权,请联系删除。语义分割问题可以理解为像素级的分类,而知识蒸馏方法对分类任务有较好的表现,可...原创 2020-01-07 16:57:44 · 2769 阅读 · 5 评论 -
模型剪枝学习笔记--SlimYOLOv3:Narrower,Faster and Better for Real-Time UAV Application
SlimYOLOv3:Narrower,Faster and Better for Real-Time UAV Application这篇文章是针对Yolov3做模型剪枝的,开始给出典型的模型剪枝方法流程,如图。其次,给出针对yolov3的模型剪枝流程,如图什么是深度模型的剪枝?就像论文名字中的更窄(Narrower),它是要减少模型通道数。去除每个卷积层中不重要的特征通道。所以需要合...原创 2020-01-07 11:10:28 · 1347 阅读 · 1 评论 -
模型剪枝学习笔记--Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
Filter pruning通过计算每组输入filter之上的L1-norm,然后来将那些具有较小L1-norm值的filters pruning掉对每个Filter Fi,j,计算每个输入filter set Fj的和(使用L1-Norm来计算filter之上weight的绝对值之和),即Sj = Σi(|Fi,j|);对上步计算出的Sj进行排序,Sj大小反映了相关filter的重要性;...原创 2020-01-07 10:49:02 · 703 阅读 · 0 评论 -
知识蒸馏学习笔记--Distilling the Knowledge in a Neural Network
Distilling the Knowledge in a Neural NetworkDistilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学生网络(student n...原创 2020-01-06 16:18:00 · 971 阅读 · 0 评论