![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
轻量级神经网络
文章平均质量分 88
聊北辰同学
算法小白
展开
-
【深度学习】轻量级神经网络设计思路
【深度学习】轻量级神经网络设计思路0. 前言随着深度学习技术在各个领域获得了表现出极大的潜力,但大部分神经网络模型的计算复杂度都使其无法在计算资源受限的情况下(如移动端设备)得到很好的应用,于是,神经网络的轻量化备受关注。那么如何将神经网络模型设计得小型化、轻量化呢?部分研究成果为我们打开了思路,也一定程度上促成了AI技术的推广和落地。1. 轻量级神经网络设计轻量级神经网络设计的主要思路:有限的计算复杂度下实现尽可能高的模型表达能力。模型表达能力一定程度上同通道数相关,换言之,就是要不过分减原创 2021-06-17 16:51:49 · 2124 阅读 · 0 评论 -
【深度学习】模型压缩——量化
基本原理将浮点存储(运算)转换为整型存储(运算)的一种模型压缩技术。例:原本需要用 float 32 表示的权重,量化后只需要使用 int 8 表示,仅仅这一个操作,可以获得接近4倍的网络加速!(float 32 指的是 32 位的 float 型数据,int 8 指的是 8 位的数据。)一般情况下不同数据类型所占位数或字节数参考:数据类型位数字节数int占一个内存单元:如 64 位系统一个内存单元占 64 位64 位系统:8 字节32 位系统:4 字节16 位系统原创 2021-06-16 15:12:12 · 993 阅读 · 0 评论 -
【笔试面试】秒懂深度学习模型小型化:蒸馏法、剪枝…
蒸馏:主要思想是,通过大模型指导小模型学习。剪枝:网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除,然后再重新fine tune网络进行微调。紧凑模型设计:MobileNet 的 深度可分离卷积shufflenet 的 逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle),前者通过分组卷积降低计算量,后者促进信息在不同组之间流转...原创 2020-11-21 21:56:40 · 1185 阅读 · 0 评论 -
【笔试面试】MobileNet v1v2v3 简介,适合记忆
mobilenet-v1核心:深度可分离卷积普通卷积(第一个图)和深度可分离卷积(第二个图)如上图所示。深度可分离卷积原理:将 (K,K,C) 的卷积,分解为 c 个 (K,K) 的卷积核分别对每个通道进行卷积操作,然后拼接在一起用 N 个 (1,1,C) 再次卷积。参数量和计算量:Conv / DepwiseConv = 1/N + 1/K^2,比值约 1/8 到 1/9 之间此外,论文还提出步长为 2 的卷积核,卷积的同时充当下采样的功能。这种形式也正在逐渐代替池化层。mobilenet-原创 2020-11-21 21:54:40 · 2225 阅读 · 0 评论 -
【深度学习】轻量级神经网络之MobileNet
前言:本文为MobileNet的简单介绍,尝试最少的废话进行介绍,适合快速入门。背景移动设备硬件资源和算力有限,不适合复杂深度学习模型。轻量级神经网络业内提出了SqueezeNet、ShuffleNet、NasNet、MnasNet、MobileNet以及EfficientNet等轻量级网络模型。本文主要介绍MobileNet。MobileNetMobileNet V1核心采用了深度可分离卷积降低计算量。普通卷积:对于输入W×H×CW\times{H}\times{C}W×H×C(C原创 2020-08-23 10:42:30 · 1210 阅读 · 0 评论