轻量级网络
深度学习轻量级网络
北京纯牛奶
做个知识点记录的工具而已,其他绕道!
展开
-
ShuffleNet记录
MobileNet v1 -> ShuffleNet v1 -> MobileNet v2 -> ShuffleNet v2ShuffleNet_V11、分组卷积的矛盾——计算量使用group convolution的网络有很多,如Xception,MobileNet,ResNeXt等。其中Xception和MobileNet采用了depthwise convolution...原创 2020-05-06 17:35:42 · 242 阅读 · 0 评论 -
SqueezeNet记录
模型压缩总结SqueezeNet:深度压缩(Deep compression)从LeNet5到DenseNet,反应卷积网络的一个发展方向:提高精度。SqueezeNet的工作为以下几个方面:1、提出了新的网络架构Fire Module,通过减少参数来进行模型压缩2、使用其他方法对提出的SqeezeNet模型进行进一步压缩3、对参数空间进行了探索,主要研究了压缩比和3∗3卷积比例的影响...原创 2020-04-18 19:09:48 · 187 阅读 · 0 评论 -
轻量级神经网络MobileNet,从V1到V3
自从2017年由谷歌公司提出,MobileNet可谓是轻量级网络中的Inception,经历了一代又一代的更新。成为了学习轻量级网络的必经之路。MobileNet V1MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 论文地址:https://arxiv.org/abs/1704...转载 2020-03-22 22:22:59 · 563 阅读 · 0 评论 -
轻量级网络基础知识记录
基础知识记录计算消耗(1)全连接层(2)激活函数(3) 卷积层(4) Batch Normalization(5) 其他层内存占用(1)权重的内存占用(2) feature maps 和中间结果FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。FLOPs:注意s小写,是f...原创 2020-05-06 17:38:23 · 175 阅读 · 0 评论 -
模型压缩总结
模型压缩总结SqueezeNet:深度压缩(Deep compression)从LeNet5到DenseNet,反应卷积网络的一个发展方向:提高精度。SqueezeNet的工作为以下几个方面:1、提出了新的网络架构Fire Module,通过减少参数来进行模型压缩2、使用其他方法对提出的SqeezeNet模型进行进一步压缩3、对参数空间进行了探索,主要研究了压缩比和3∗3卷积比例的影响...原创 2020-05-06 17:37:10 · 186 阅读 · 0 评论 -
深度学习模型压缩方法(1)-----综述
展开1.研究背景对模型预测精度无明显影响压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多,模型大小由全连接层主导不显著提高训练时间复杂度,降低预测时间复杂度(计算量) 卷积层计算量大,计算代价由卷积操作主导2.方法2.1.更精细模型的设计Aggregated Residual Transformations for Deep Neural Netwo...转载 2020-04-30 09:33:36 · 1511 阅读 · 0 评论