模型压缩与加速
TensorSense
一位致力于开源教程编写与学习的工程师,主要方向为计算机视觉、自然语言处理、大语言模型的工业项目应用,擅长各类“AI+”项目的技术方案验证、设计和开发。欢迎与我交流,yts3221@126.com
展开
-
GhostNet 解读及代码实验(附代码、超参、日志和预训练模型)
文章首发于 极市平台文章目录一、前言二、论文阅读摘要问题1: 何为特征图冗余?问题2: Ghost feature maps 和 Intrinsic feature maps 是什么?问题3: Linear transformations 和 Cheap operations 是什么?问题4: Ghost Module长什么样?Ghost Bottlenecks长什么样?Ghost Ne...原创 2020-03-30 22:22:56 · 17748 阅读 · 41 评论 -
轻量化网络:ShuffleNet V2
Guideline 1-4:ShuffleNet V2疑问:ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 由Face++及清华的研究者共同发表,已被ECCV-2018收录论文下载地址:https://pan.baidu.com/s/1so7aD3hLKO-0PB...原创 2018-08-04 11:44:51 · 3195 阅读 · 1 评论 -
轻量化网络:SqueezeNext
《SqueezeNext: Hardware-Aware Neural Network Design》 于2018年3月公开在arXiv(美[ˈɑ:rkaɪv]) :https://arxiv.org/abs/1803.10615SqueezeNext是基于SqueezeNet进行改进的一种轻量化网络。该论文是一篇“软硬兼并”的轻量化网络论文,以往的论文大多都只讲了网络如何设计,并没有...原创 2018-06-05 22:15:14 · 4688 阅读 · 6 评论 -
轻量化网络:MobileNet-V2
创新点正文MobileNet-V2网络结构MobileNetV2: 《Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification, Detection and Segmentation》 于2018年1月公开在arXiv(美[ˈɑ:rkaɪv]) :https://arxi...原创 2018-01-23 09:27:28 · 148658 阅读 · 55 评论 -
轻量化卷积神经网络:SqueezeNet、MobileNet、ShuffleNet、Xception
一 引言二 轻量化模型2.1 SqueezeNet2.2 MobileNet2.3 ShuffleNet2.4 Xception三 网络对比一 引言自2012年AlexNet以来,卷积神经网络(简称CNN)在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高,AlexNet已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更...原创 2018-01-18 20:40:07 · 20023 阅读 · 8 评论 -
模型压缩:Networks Slimming-Learning Efficient Convolutional Networks through Network Slimming
Network Slimming-Learning Efficient Convolutional Networks through Network Slimming(Paper) 2017年ICCV的一篇paper,思路清晰,骨骼清奇~~创新点: 1. 利用batch normalization中的缩放因子γ 作为重要性因子,即γ越小,所对应的channel不太重要,就可以裁剪(pru原创 2017-12-13 09:41:44 · 14703 阅读 · 10 评论 -
模型加速:WAE-Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
WAE(Wavelet-like Auto-Encoder) 是由来自中大、哈工大、桂电等多机构的多名研究人员合作提出的,发表于AAAI-2018(论文地址: https://arxiv.org/pdf/1712.07493.pdfgithub创新点: 1. WAE借助小波分解得思想,将原图分解成两个低分辨率图像,以达到网络加速的目。(PS:整体思路:下采样的方法达到网络加速,但原创 2017-12-26 11:38:34 · 2341 阅读 · 3 评论 -
轻量化网络:MobileNets
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications(MobileNets paper)是CVPR-2017一篇paper,作者均来之Google,其提出一种“新”的卷积方式来设计网络,主要针对移动端设备所设计,因此,得名MobileNets 注:MobileNets不是模型压缩技...原创 2017-12-20 10:25:55 · 12371 阅读 · 8 评论 -
轻量化网络:SqueezeNet
SqueezeNet 发表于ICLR-2017,作者分别来自Berkeley和Stanford,SqueezeNet不是模型压缩技术,而是 “design strategies for CNN architectures with few parameters”创新点: 1. 采用不同于传统的卷积方式( 类似于inception思想) ,提出fire module;fire module包含...原创 2017-12-27 09:45:41 · 20456 阅读 · 7 评论 -
模型压缩:Deep Compression
第一步weight pruning第二步trained quantization and weight sharing第三步 Huffman coding 实验分析之压缩几十倍从何而来 实验分析之极致量化《Deep Compression Compressing Deep Neural Networks with Pruning, Trained Quantization原创 2018-01-22 10:51:38 · 6423 阅读 · 2 评论 -
轻量化网络:ShuffleNet
《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 》来自face++,发表于CVPR-2017, 其主要采用两个“新”操作对卷积神经网络结构进行修改,达到提高计算效率的目的。github: https://github.com/farmingyard/ShuffleNet创新点:原创 2017-12-28 08:53:39 · 1687 阅读 · 0 评论 -
轻量化网络:Xception
Xception: Deep Learning with Depthwise Separable Convolutions 是2017年 google的文章Xception不是模型压缩技术,而是 “design strategies for CNN architectures with few parameters”Xception 是对Inception v3的改进,是一种 Extrem...原创 2017-12-25 09:38:10 · 8845 阅读 · 2 评论