轻量化网络学习 2 shufflenet网络

归纳

本文通过对之前轻量化的弊端进行分析，提出了shufflenet，该网络最大化了分组点卷积的作用，并提出通道重排来提高进行通道间的信息交流。节约了算力成本

论文

学习目标：
分组点卷积过程，优势
通道重排方式
改进版本的创新及性能、

研究背景：
1、动机
更深更大的CNN消耗极大算力消耗量
有点的算力支撑条件下也需要提升准确率

现有方法：
模型压缩
直接涉及小型网络

本文方法；
分组点卷积、通道重排

创新：
1、分组点卷积
在卷积中卷积核的通道数就是输入特征的通道数、
所以输入特征的通道数=卷积核通道数
卷积核的个数就是输出通道的特征数
所以输出特征的通道数=卷积核个数

2、通道重排
3、shufflenet

分组卷积

点卷积

改进版本：
v1版本提出了4个发现


x1、x2 x4：是输入输出通道在原来基础上提高多少倍
batches除以sec：每秒处理的batch数
v2版本做了改进
series分支
parallel并行

实验结果对比

改进后的基本结构进行对比

总结：
关键点：
1、卷积方法创新
分组卷积、点卷积、分组点卷积、可变形卷积
2、各类神经网络架构创新
创新点：
1、分组点卷积
2、通道重排构建shufflenet unit，构建轻量级网络shuffnenet，实现大小和精度的平衡
启发点：
1、创新卷积方式
减少算里消耗
加快速度
2、实现通道的信息关联
还能如何进行交换，联系?
3、实现特征融合的方式
add：关注元素
cat：关注维度
可否都兼顾到呢？？

注：
秒浮点运算次数（亦称每秒峰值速度）是每秒所执行的浮点运算次数（英语：Floating-point operations per second；缩写：FLOPS）的简称，被用来估算电脑效能，尤其是在使用到大量浮点运算的科学计算领域中。因为FLOPS字尾的那个S代表秒，而不是复数，所以不能够省略。
一个MFLOPS（megaFLOPS）等于每秒一百万（106）次的浮点运算；
一个GFLOPS（gigaFLOPS）等于每秒十亿/十亿（109）次的浮点运算；
一个TFLOPS（teraFLOPS）等于每秒一兆/一万亿（1012）次的浮点运算；
一个PFLOPS（petaFLOPS）等于每秒一千兆/一千万亿（1015）次的浮点运算；
一个EFLOPS（exaFLOPS）等于每秒一百京/一百亿亿（1018）次的浮点运算。
这部分参考：https://www.cnblogs.com/zafu/p/11414202.html