![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
可分离卷积
文达(初学者)
除了妹子和钱,别的啥都不差
展开
-
目前常用的一些减少网络计算量的方法
目前常用的一些减少网络计算量的方法:基于轻量化网络设计:比如mobilenet系列,shufflenet系列,Xception等,使用Group卷积、1x1卷积等技术减少网络计算量的同时,尽可能的保证网络的精度。模型剪枝: 大网络往往存在一定的冗余,通过剪去冗余部分,减少网络计算量。量化:利用TensorRT量化,一般在GPU上可以提速几倍。知识蒸馏:利用大模型(teacher model)来帮助小模型(student model)学习,提高student model的精度。(学习记录,自用)原创 2020-07-15 16:56:27 · 1281 阅读 · 0 评论 -
Depthwise Convolution && Pointwise Convolution && Separable Convolution
卷积神经网络在图像处理中的地位已然毋庸置疑。卷积运算具备强大的特征提取能力、相比全连接又消耗更少的参数,应用在图像这样的二维结构数据中有着先天优势。然而受限于目前移动端设备硬件条件,显著降低神经网络的运算量依旧是网络结构优化的目标之一。本文所述的Separable Convolution就是降低卷积运算参数量的一种典型方法。常规卷积运算假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个Filter的卷积层,最终输出4个Feature Map,且尺寸与输入层相同。整个过程可以用下图来概原创 2020-07-15 16:32:55 · 240 阅读 · 0 评论