chang_jx的博客

越深的网络提取的特征越抽象，越具有语义信息，但并不是深度越深越好，如果简单地增加深度，会导致梯度弥散或梯度爆炸，虽然可通过正则化初始化和中间的正则化层解决，但是又会出现另一个问题，就是退化问题，网络层数增加但是在训练集上的准确率却饱和甚至下降了。这是因为虽然深层网络的解空间虽然包含了浅层网络的解空间，但是我们在训练网络用的是随机梯度下降策略，往往解到的不是全局最优解，而是局部的最优解，显而易见深层网络的解空间更加的复杂，所以导致使用随机梯度下降算法无法解到最优解。

使用浅层模型时，随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化,对深层神经网络来说，随着网络训练的进行，前一层参数的调整使得后一层输入数据的分布发生变化，各层在训练的过程中就需要不断的改变以适应学习这种新的数据分布。以Sigmoid激活函数为例，批量归一化之后数据整体处于函数的非饱和区域，只包含线性变换（多层的线性函数跟一层线性网络是等价的，网络的表达能力下降），破坏了之前学习到的特征分布。训练时，对同一批的数据的均值和方差进行求解，进而进行归一化操作。

填充、步长、通道数的概念、卷积层、池化层、全连接层是什么