卷积设计

神经网络的深度决定什么？ （提取特征的能力，提取特征的抽象程度，他是由于反向的梯度更新决定的，权重更新次数和网络的层数是有关的）

每层神经元的个数决定的是（该网络的非线性能力）

 

网络设计深更利于特征提取，但是会有梯度消失（反向时每层神经网络连乘），梯度弥散。

相应的何凯明提出了，残差网络，作用是保证后面的反向过程的网络层梯度不为零，反向时加输入值

 

卷积空间层面（理解为图片rgb的每一层）的是局部连接，在通道上面是全连接，所以可以使用分组，将通道分组，来减少全连接计算。分组只能影响通道上的计算，空间层面不影响。  分组和通道数一样，速度是最快的，称作深度卷积，但是这样造成了数据未融合，所以产生了通道混洗（[N,C,H,W]-->[N, g, C/g, H,W]-->[N,C/g,g,H,W]-->[N,C,H,W]，g分组）。

分组卷积最早是在alexnet上提出，其实分布式原理，单机计算力问题

分组卷积要注意的是，保证输入和输出channel 能被组数整除

 

一个卷积核对应一个输出特征图，但是卷积核的层与输入通道对应的，输入4通道，会有4个卷积层对应，每层的数据运算结束后，最后会用全连接的形式生成输出特征图。  每一层上都有各自的卷积权重（不参加反向计算）,

 

1*1的卷积核（逐点卷积）是不能做特征提取的，他是做通道融合, 同时降低计算量。对wh没变化，但是对c做操作