深度学习中卷积的发展意义、CNN构架的设计原则、基础网络架构的总结、轻量化网络结构

一、卷积存在的意义

1、局部感受野：

卷积核对应的区域

2、共享参数：区别于全连接

全连接每个神经元都对应n个参数，这n个参数都是不一样的
但是卷积中假设每次卷积时一个卷积核对应的参数是一样的

二、CNN构架设计原则

一般特征图越来越小，通道数会越来越多

三、基础网络架构的总结

1、Alexnet

引入dropout
使用时随机失活，完了之后对参数再做还原
引入relu

2、Inception

v1: 多尺度卷积核、引入不同感受野、1X1卷积、辅助损失函数
v2/v3: BN引入、2个3X3替代5X5
BN解决网络因内部协方差而难训练。内部协方差就是训练过程中，每层的输入分布因前面层的参数变化而不断变化
nxn分解为1xn和nx1（不常用)

3、VGG

小卷积核的拼接

4、resnet

有个skip connection

5、xception。

前提，假设空间信息和通道信息可以分离

先卷积区域，一个特征图层一个卷积核。
再融合通道，1X1卷积
计算：
​

​​四、轻量化网络结构

1、squeezenet（2016.2）

降低了feature map通道数。具体是：先用1X1对通道进行减小，在用inception思想将通道变大，然后进行通道维度拼接

2、mobilenet（2016.4）

深度卷积结合点卷积

3、shufflenet（2016.6）

1X1卷积核替换3X3卷积核，减少3X3卷积核的通道数，降采样操作滞后，就可以最大化得到空间信息，提高精度
具体为：
扩展层：分为1X1和3X3卷积两部分，扩展从压缩层得到的特征通道
压缩层：全部由1X1组成，旨在压缩特征通道数

4、xception

使用1X1卷积和3X3深度可分离卷积
残差结构的使用
构造xception结构（36个卷积，14个块（1+3+8+1+1））