CNN的那点事儿

当使用在空间上均匀分布的卷积核对CNN做初始化时，CNN在深度上会表现得像全连接层；而使用在空间上不均匀分布的卷积核时，信号在深度网络中就表现出了多种传输模式“残差连接和批标准化这些结构上的特征，可能在定义好的模型类中有着重要的作用，而不是仅仅简单地能够提高训练的效率。”CNN可以被训练的深度，就是信号能完全通过的层数.在物理学和概率论中，平均场论是对大且复杂的随机模型的一种简化。未简化前的模型通常包含数量巨大且存在相互作用的小个体。平均场理论则做了这样的近似：对于某个独立的小个体，所有其他个体对它产生的作用可以用一个平均的量给出，这样简化后的模型就成了一个单体问题。这种思想源于居里夫人的老公皮埃尔·居里对相变的研究。现在，平均场论广泛用于如传染病模型、排队论、计算机网络性能和博弈论当中。
在深度学习领域，平均场论也得到了研究。在初始化阶段，信号能在网络中传输的深度存在一个最大值，而深度网络之所以能够被训练，恰恰是因为信号能够全部通过这些层。信号在网络中向前和向后传播而不衰减的必要条件，得出了一个初始化方案，在不对网络的结构进行任优化（比如做残差连接、批标准化）的情况下，这个方案能帮助训练超级深——10000乃至更深的原始CNN。深度神经网络中权重的初始化会对学习速度有很大的影响。实际上，深度学习建立在这样一个观察之上，即无监督的预训练为随后通过反向传播进行的微调提供了一组好的初始权重。这些随机权重的初始化主要是由深度网络雅可比矩阵输入-输出的平均奇异值应该保持在1附近驱动。这个条件意味着，随机选择的误差向量在反向传播时将保持其范数。对深度线性网络学习的非线性动力学的精确解进行理论分析后发现，满足了动态等距的权重初始化能够大大提高学习速度。对于这样的线性网络，正交权重初始化实现了动态等距，并且它们的学习时间（以学习轮数的数量来衡量）变得与深度网络雅可比矩阵奇异值的整个分布形状，会对学习速度产生巨大的影响。只有控制二阶矩，避免指数级的梯度消失和爆炸，才能留下显著的性能优势。残差连接和批标准化这些结构上的特征，可能在定义好的模型类中有着重要的作用，而不是仅仅简单地能够提高训练的效率。