5月学习笔记：基础网络，加速模型，shuffleNet等

名词解释：

group conv

https://blog.csdn.net/hhy_csdn/article/details/80030468

https://blog.csdn.net/blogshinelee/article/details/86094419

最早出现于AlexNet，为解决显存不够问题。Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果

Depthwise卷积与Pointwise卷积

https://blog.csdn.net/tintinetmilou/article/details/81607721

Depthwise Separable Convolution可分离卷积，是将一个完整的卷积运算分解为两步，即Depthwise Convolution与Pointwise Convolution。Google的Xception及MobileNet

       

Depthwise:  每个通道分别进行卷积操作，din个k*k二维卷积,，输出din个feature map，参数量din *k * k

Pointwise ：改变通道数din->dout，卷积核尺寸 1×1×din，channel上进行加权组合，参数量:dout*1*1*din

优点：1. 减少参数量，dout*k*k*din->din*k*k+dout*1*1*din

           2.特征效果更佳，每个通道使用不同的卷积，对每个通道都进行了学习，再对不同通道进行结合，而不是所有通道对应同一个过滤器

 

CNN网络优化学习总结——从MobileNet到ShuffleNet

https://blog.csdn.net/sun_28/article/details/78170878

 

MobileNet

https://arxiv.org/pdf/1704.04861.pdf

用depthwise sparable convolutions替代过去standard convolutions

优点：1）提高卷积网络的计算效率，压缩参数同时还压缩了计算量

           2）可分离卷积模块充分发挥现代CPU计算能力与数据读取效率，这些优化还不影响准确率，广泛应用移动终端

ShuffleNet

https://arxiv.org/abs/1707.01083

分组卷积没有 Channel Correlation, 用 Channel Shuffle 来解决这个问题

 

https://blog.csdn.net/u014380165/article/details/75137111