内部协变量偏移

内部协变量偏移（Internal Covariate Shift）是指在神经网络训练过程中，每一层的输入分布随着前一层参数的变化而不断变化的现象。这种现象会导致网络的训练变得困难，因为每一层都需要不断调整自己的参数来适应前一层输出的分布变化。

举例说明

假设我们有一个简单的多层神经网络，用于图像分类任务。网络的第一层是卷积层，第二层是全连接层。

• 初始阶段：网络开始训练时，第一层卷积层的权重被初始化，它对输入图像进行卷积操作后，输出特征图。这些特征图作为第二层全连接层的输入，此时第二层的输入具有某种分布.
• 训练过程中：随着训练的进行，第一层卷积层的权重不断更新，以更好地提取图像特征。这种权重的更新会导致第一层输出的特征图的分布发生变化.
• 影响后续层：由于第一层输出的分布变化，第二层全连接层接收到的输入分布也随之改变。第二层需要不断调整自己的参数来适应这种新的输入分布，这会导致学习速度变慢。

解决方法

为了解决内部协变量偏移问题，引入了批归一化（Batch Normalization）技术。批归一化通过对每一层的输入进行归一化处理，使得每一层的输入分布保持相对稳定，从而减少了每一层需要适应的输入分布变化，提高了模型的训练效率和稳定性。